机器之心发布
机器之心编辑部

近日 ， 第十届对话系统技术挑战赛 DSTC10 落下帷幕 。 作为全球人工智能顶级学术竞赛之一 ， DSTC 比赛持续受到国内外知名企业和机构关注 。 百度在 DSTC10 中斩获了知识型任务口语对话赛道两项任务的全部冠军 ， 并以大幅优势领先对手 。

在上一届 DSTC 比赛中 ， 百度 PLATO-2 模型夺得多个任务冠军；本次比赛 ， 百度结合了最新发布的全球首个百亿参数对话生成模型 PLATO-XL ， 在赛题难度加大的情况下 ， 凭借强大的技术实力再次拿下多个冠军 。
加入错误干扰数据 知识型任务口语赛道难度空前
任务型对话基于知识为用户提供口语化的信息查询、指令执行等智能服务 。 今年 DSTC 的知识型任务口语对话赛道由对话状态追踪和知识对话两项核心子任务构成 ， 这两项任务是判断对话系统能否在多轮对话中准确理解用户意图、正确传递信息的关键 。
为了更接近真实场景 ， 该赛道首次在竞赛中使用了带有自动语音识别（Automatic Speech Recognition, ASR）错误干扰的口语对话数据 。 下图展示了验证集中的一个对话片段 ， 口语的表述更加复杂多样 ， 且 ASR 错误带来的干扰很大（作为参考 ， 灰色部分为人工再次核查录音 ， 校正后的对话内容） 。 相比于传统对话系统中采用的众包数据 ， 该赛道不仅训练数据缺乏 ， 而且数据噪音大 ， 这对正确理解用户信息并保持高质量的回复是一项极大的挑战 。

知识型任务口语对话赛道 ASR 错误示例：灰色字体为专家根据对话内容恢复的准确文本 。 红色字体为 ASR 错误内容 。
那么在激烈的竞争中 ， 百度是如何在这一赛道拿下两项任务全部冠军的呢？
对话状态追踪任务大幅领先 创新提出多层级数据增强框架
在任务 1 对话状态追踪任务中 ， 参赛系统需要完成多领域对话状态追踪 ， 正确识别出用户意图和槽位 。 首先 ， 针对训练数据匮乏的难题 ， 百度团队创新地提出了多层级数据增强方法 ， 通过对已有对话进行实体替换、基于对话动作随机游走、口语模拟增强等技术 ， 自动构造了数十万的多轮口语对话 。 然后 ， 依托对话生成预训练模型 PLATO ， 进行对话追踪任务端到端建模 ， 即根据多轮对话上文自动生成意图和槽位 ， 大幅提升模型鲁棒性 。 最终联合目标准确率（Joint Goal Accuracy）达到 0.4616 ， 超越第二名十个百分点 ， 以绝对的优势夺得第一 。

对话状态追踪任务示例：将用户的口语文本转为结构化的对话状态描述同时 ， 还需要修复相关 ASR 错误 。

对话状态追踪任务榜单（前五名） ，A11 为百度团队 。
知识对话任务夺冠 实体增强辅助知识精准定位
第二项任务为知识对话 。 传统任务型对话以知识为基本支撑 ， 一旦用户的诉求超出知识范畴 ， 对话系统就无法做出正确的回复 。 针对该问题 ， 通常会在对话系统中引入大量的外部知识 ， 来进一步提升对话系统的能力 。 在该背景下 ， 第二项任务设置了三个级联的子任务：

• 判断当前对话是否需要使用外部知识；
• 选择跟当前对话内容匹配的知识；
• 根据选取的知识进行回复生成 。

针对这些子任务 ， 百度创新地提出了知识增强的对话策略：首先 ， 在多领域任务对话的复杂场景下 ， 准确识别与对话意图相关的知识需求；然后 ， 知识召回模型从大规模知识库中高效召回合适的知识；最后 ， 利用 PLATO-XL 的灵活可扩展性 ， 基于对话上下文内容以及召回的外部知识 ， 自动生成回复 。 从系统回复的人工评估结果来看 ， 百度在回复的准确性和合适性两个指标都取得最好成绩 。