近日由国际计算语言学协会 ACL（The Association for Computational Linguistics）举办的 WMT 2019 国际机器翻译比赛的客观评测结果揭晓，微软亚洲研究院机器学习组在参加比赛的 11 项机器翻译任务中有 7 项获得了第一名，另外 4 項获得第二名
图片来自大赛网站，横向为源语种纵向为目标语种
７项任务获第一，４项任务获第二
WMT 的全称为 Conference on Machine Translation 是全球学术界公认的国際顶级机器翻译比赛。自 2006 年至今WMT 机器翻译比赛已经成功举办 14 届，每一次比赛都是全球各大高校、科技公司与学术机构展示自身机器翻译實力的较量更是见证了机器翻译技术的不断进步。
在本届 WMT 2019 大赛中共有来自全球的 50 多支队伍参加比赛，包括微软、Facebook、百度、字节跳动、岼安、日本情报通信研究机构（NICT）等企业、科研机构和高校大赛共设置了 19 项不同语言之间的翻译任务，微软亚洲研究院参加比赛了 11 项其中 7 项翻译任务获第一，包括：德语－英语、德语－法语、法语－德语、中文－英语、英语－立陶宛语、英语－芬兰语、俄语－英语另外 4 项任务获得第二，包括：英语－德语、立陶宛语－英语、芬兰语－英语、英语－哈萨克语来自微软的另外一支团队则在英语-德语的任務上获得了第一名。
结果显示此次大赛的亚军团队在 3 项任务中获得了第一，季军团队则有两项获得第一来自微软亚洲研究院的神经网絡机器翻译算法的表现遥遥领先于其他参赛队伍。
2018 年 3 月由微软亚洲研究院与微软雷德蒙研究院共同研发的机器翻译系统便在 WMT 2017 大会上发布嘚通用新闻报道测试 newstest2017 机器翻译系统融合了微软亚洲研究院机器学习组的最近研究成果——对偶学习（Dual Learning）和推敲网络（Deliberation Networks），以及自然语言计算组的最新技术——联合训练（Joint
在 WMT 2019 的比赛中微软亚洲研究院机器学习组再次将多个创新的算法运用在了机器翻译的任务中，从学习机制、预训练、网络架构优化、数据增强等方面提升了机器翻译结果的质量。
此次使用的创新算法包括：
新的学习机制：MADL 多体对偶学习
在机器翻译中训练数据的数据量越大、质量越高，其训练的翻译结果越好基于对偶学习，创新的 MADL 算法利用正向与反向翻译的多个模型对单語数据进行前向和后向翻译并打分然后将得分最高的数据放置到训练数据中从而获得更多高质量的数据，或者将单语数据的前向后向重建误差加入到损失函数里来增强学习过程MADL 不局限于某个语种，可以在任何源语种和目标语种之间提供这样的对偶学习能力
更好的预训練：MASS 屏蔽序列到序列的预训练
MASS 是针对序列生成设计的预训练算法，比 BERT 以及 GPT/2 更加通用BERT 模型通常是屏蔽掉句子中的一个单词，然后通过分类來预测这个词；GPT 模型是给定前面的词通过分类生成后面的词，直至一句话或整篇文档；两者都是预训练一个编码器而翻译则是基于编碼器-解码器-注意力框架，因此 BERT 和 GPT/2 并不能很好地适用于翻译任务但 MASS 则能将句子中的部分连续片断随机屏蔽，然后训练一个编码器-解码器-注意力模型预测生成该片断从而利用海量单语数据预训练然后初始化翻译模型。因此MASS 比 BERT 和 GPT/2 都更适用于机器翻译这个应用场景。实验证明MASS 屏蔽翻译句子中 50% 的片断效果最好。
网络架构优化: NAO 自动神经网络架构优化
NAO 是从神经网络结构优化的角度去提升机器翻译水平不同的网络結构通常对于翻译结果有着较大影响，NAO 把离散的网络结构嵌入到连续的向量空间从而通过连续优化找到更好的网络结构。与固定的 Transformer 相比NAO 可以找到更多样的网络结构，和 Transformer 形成互补优势使得机器翻译多模型集成的结果更佳。
数据增强：SCA 软性上下文数据增强
软性上下文数据增强是在双语训练数据中随机屏蔽某个词，再基于语言模型利用上下文来预测这个词随后选择概率最高的几个词，根据预测概率把这些预测的词线性组合到一起替换原来被屏蔽的词。这样一个句子/句对可以生成多个句子/句对同一个句子的翻译就可以出现多个合理的翻译结果，这也与实际翻译过程中翻译结果并不唯一这一事实相吻合通过如此软性上下文数据增强，从而扩大训练数据的规模增强数據质量，得到更好的翻译结果
在此次的 11 项机器翻译任务中，微软亚洲研究院的研究员们在每个翻译任务上采用了上述不同的技术未来，研究团队计划将这四个层面的创新技术整合并且通过与微软翻译产品部门的合作，将新技术尽快转化到微软翻译产品中更多智能新聞请看 广东省智能创新协会
