社交媒体集团meta创造了一个能够翻译200种不同语言的人工智能模型，包括许多目前商业工具不支持的语言。该公司将该项目开源，希望其他人能在其工作的基础上进行开发。
该人工智能模型是meta公司雄心勃勃的研发项目的一部分，该项目旨在创造所谓的“通用语音翻译器”，该公司认为这对其在多个平台上的增长至关重要从Facebook和Instagram，到VR和AR等领域的开发。机器翻译不仅可以让meta更好地了解用户(从而改善为其带来97%收入的广告系统)，还可能成为未来项目(如增强现实眼镜)的杀手级应用的基础。
这个模型的翻译肯定不会是完美的
机器翻译专家告诉The Verge网站说，meta的最新研究雄心勃勃、深入透彻，但也指出，该模型的一些翻译的质量可能会远远低于支持更好的语言，如意大利语或德语。
德国慕尼黑大学计算语言学专家亚历山大·弗雷泽教授在接受The Verge网站采访时表示:“这里的主要贡献在于数据。”“重要的是100种新语言(可以通过元模型翻译)。”
有点矛盾的是，meta的成就源于其研究的范围和重点。虽然大多数机器翻译模型只处理少数几种语言，但meta的模型是全方位的:它是一个单一的系统，能够在200种不同的语言之间从4万种不同的方向进行翻译。但是，meta还对在模型中包括“低资源语言”感兴趣——这些语言的公开可用翻译句子对少于100万。其中包括许多商业机器翻译工具通常不支持的非洲和印度语言。
“怎样才能创造出适用于所有人的翻译技术?参与该项目的人工智能研究科学家安吉拉·范(Angela Fan)告诉the Verge网站，该团队的灵感来自于该领域对这种低资源语言的关注不足。“翻译甚至对我们说的语言都不起作用，所以我们开始了这个项目，”范说。“我们有这样的包容性动机——‘怎样才能产生适用于所有人的翻译技术’”>Fan说，在一篇研究论文中描述的模型，已经在测试中，以支持一个帮助维基百科编辑将文章翻译成其他语言的项目。在创建模型时开发的技术也将融入到我身上很快就有Ta的翻译工具了。在最好的情况下，翻译是一项困难的任务，而机器翻译可能是出了名的不可靠。当按比例应用在我身上时在ta的平台上，即使是少量的错误也会造成灾难性的后果——例如，Facebook将一名巴勒斯坦男子的帖子从“早上好”翻译成“伤害他们”，导致他被以色列警方逮捕。
为了评估新模型输出的质量，meta为模型覆盖的每种语言创建了一个包含3001个句子对的测试数据集，每个句子对都由专业翻译人员和母语人士从英语翻译成目标语言。
研究人员在他们的模型中运行这些句子，并使用机器翻译中常见的基准——BLEU(代表双语评估替代研究)——将机器翻译与人类参考句子进行比较。
我Ta的模型提供了改进的基准，但它们不能说明全部问题BLEU允许研究人员分配数字分数来衡量句子对之间的重叠，meta说它的模型在受支持的语言中产生了44%的BLEU分数的提高(与之前的最先进的工作相比)。然而，就像人工智能研究中经常出现的情况一样，根据基准来判断进展需要背景。
尽管BLEU分数允许研究人员比较不同机器翻译模型的相对进展，但它们并不能提供一个绝对的衡量软件产生人类质量翻译的能力的标准。
记住:meta的数据集包含3001个句子，每个句子都只有一个人翻译过。这为判断翻译质量提供了一个基线，但整个语言的总体表达能力无法通过这么小的实际语言片段来体现。这个问题并不局限于元翻译——它影响所有的机器翻译工作，在评估资源不足的语言时尤其严重——但它表明了该领域面临的挑战的范围。
微软负责机器翻译的首席研究经理克里斯蒂安·费德曼(Christian Federmann)表示，就将机器翻译软件的范围扩大到覆盖范围较小的语言而言，该项目整体上是“值得称赞的”，但他指出，BLEU评分本身只能提供有限的输出质量衡量标准。
费德曼在接受The Verge网站采访时表示:“翻译是一个创造性、生成性的过程，可能会产生许多不同的译本，它们都一样好(或一样坏)。”“我们不可能提供‘BLEU评分好’的一般水平，因为它们取决于所使用的测试集，其参考质量，以及正在调查的语言对的固有属性。”
范主说，BLEU的分数也有人工评价的补充，这种反馈非常积极，也产生了一些令人惊讶的反应。
“一个非常有趣的现象是，说低资源语言的人通常对翻译质量的要求较低，因为他们没有其他工具，”范冰冰说，她自己也说一种低资源语言——上海话。“他们非常慷慨，所以我们实际上不得不回头说，‘嘿，不，你需要非常精确，如果你看到错误，就指出来。’”
企业人工智能的权力失衡
人工智能翻译的工作通常被认为是一件明确的好事，但创建这个软件对使用低资源语言的人来说尤其困难。对于一些社区来说，大型科技公司的关注就是不受欢迎的:他们不希望拥有必要的工具来将他们的语言保存在除自己以外的任何人手中。对另一些人来说，这些问题不那么存在，而是更关心质量和影响力的问题。
一些社区就是不想要大型科技公司和他们的语言meta的工程师们通过采访44个说低资源语言的人，探索了其中的一些问题。这些受访者提出了将他们的语言开放给机器翻译的一些积极和消极影响。
例如，一个积极的方面是，这些工具使发言者能够接触到更多的媒体和信息。它们可以被用来翻译丰富的资源，比如英语维基百科和教育文本。然而，与此同时，如果使用低资源语言的人消费更多由使用更好支持语言的人生成的媒体，这可能会削弱用自己的语言创建此类材料的动机。
平衡这些问题是具有挑战性的，甚至在最近的项目中遇到的问题也说明了原因。例如，meta的研究人员指出，在他们为探索这些问题而采访的44名低资源语言使用者中，大多数受访者是“生活在美国和欧洲的移民，其中约三分之一的人认为自己是技术工作者”——这意味着他们的观点可能与家乡社区的人不同，从一开始就有偏见。
慕尼黑大学的弗雷泽教授说，尽管如此，这项研究的开展方式确实“越来越多地涉及母语人士”，而且这种努力是“值得称赞的”。
“总的来说，我很高兴我自己Ta一直在这样做。”“总的来说，我很高兴meta能够做到这一点。像谷歌、meta和微软这样在低资源机器翻译方面有大量工作的公司，对世界来说是非常棒的。”“当然，为什么这么做以及如何这么做背后的一些想法也来自学术界，以及对大多数列出的研究人员的培训。”
范说，meta试图通过扩大他们在项目中咨询的专业知识来抢先应对这些社会挑战。范说:“我认为人工智能在开发过程中通常是非常工程化的，就像‘好吧，我的计算机科学博士在哪儿呢?’”同样重要的是，决定尽可能多地开放项目的元素——从模型到评估数据集和训练代码——这应该有助于纠正从事此类项目的公司固有的权力失衡。meta还向希望为此类翻译项目做出贡献但无法资助自己的项目的研究人员提供资助。
“我认为这是非常非常重要的，因为不是说一家公司就能整体解决机器翻译的问题，”范说。“这是全球的每个人，所以我们真的很有兴趣支持这些类型的社区努力。”
