机器学习翻译系统通常需要大量可标记的语言示例进行训练，包括书面语言和口语，而这对于闽南语等非书面语言来说是不存在的。 Meta的研究团队使用普通话作为中间语言构建伪标签，首先将英语（或闽南语）语音翻译成普通话文本，然后将其翻译成闽南语（或英语）翻译并添加到训练数据中。
全世界已知的大约7000 种语言中，几乎有一半仍在使用，其中40% 没有广泛的书写系统。这些无文本语言给现代机器学习翻译系统带来了独特的挑战，因为它们通常需要将口语转换为书面语言，然后将文本转换回语音，但Meta 于10 月19 日宣布，我们宣布我们已经通过一个解决方案解决了这个问题。现代开放语言。源语言人工智能（AI）。
作为Meta 通用语音翻译器(UST) 项目的一部分，Meta 为闽南语构建了第一个人工智能驱动的语音翻译系统，并在视频中演示了闽南语和英语之间的实时翻译。该项目致力于开发更实时的语音识别翻译，让元界居民更容易互动。
00:31
正在加载视频.
Meta首席执行官马克·扎克伯格与员工一起演示了英语和闽南语之间的实时翻译。视频来源：Meta(00:31)
希望多种语言的实时翻译最终成为可能。
机器学习翻译系统通常需要大量可标记的语言示例（书面和口语）进行训练，而这对于闽南语等非书面语言来说是不存在的。为了解决这个问题，Meta的研究团队在一份新闻稿中表示，“我们使用声音单位转换（S2UT）将输入语音直接转换为Meta之前开发的一组声学单位。”解释如下。 “我们从这些单元生成音频波形。此外，UnitY 被用作双通道解码机制，其中第一通道解码器生成相关语言（普通话）的文本，第二通道解码器解码这些单元。创建一个。 ”
UnityY语音翻译系统的模型架构。图片来源：Meta
“我们使用普通话作为中间语言来构建伪标签。我们首先将英语（或闽南语）音频翻译成中文文本，然后将其翻译成闽南语（或英语）并将其添加到训练数据中，”该团队表示。目前，该系统允许说闽南语的人和说英语的人进行正式的交谈。尽管该模型一次只能翻译一个完整的句子，但扎克伯格相信这项技术最终会改进到可以应用于更多语言并提供实时翻译的程度。
除了该项目的开源模型和训练数据外，Meta还宣布发布第一个基于闽南语语料库的语音翻译基准系统和使用Meta LASER数据挖掘技术的SpeechMatrix系统。语音到语音翻译语料库允许研究人员创建自己的语音到语音翻译(S2ST) 系统。
“最终，我们希望能够实现多种语言的实时语音识别翻译。我们相信，无论人们身在何处，即使是在虚拟宇宙中，口头交流都可以将人们聚集在一起。”Meta 的研究团队在一份新闻稿中表示。人工智能研究可以帮助消除物理世界和虚拟世界之间的语言障碍，促进联系和相互理解。我们期待着扩大我们的研究范围，并在未来将这项技术带给更多的人。 ”
挑战：数据收集、翻译评估
梅塔还强调了这项技术面临的挑战。研究人员表示，他们在构建闽南语翻译系统时面临一个主要障碍：收集足够的数据。 “闽南语是一种所谓的低资源语言，这意味着与西班牙语或英语相比，可用的培训数据不多。此外，需要相对较少的英语到闽南语翻译人员来收集和注释数据。“这使得培训这个模型很困难，”梅塔的研究团队在新闻稿中写道。他们使用中文作为中间语言来创建伪标签和人工翻译，并通过利用类似高资源语言的数据，显着提高了模型的性能。
此外，对于闽南语等口语语言，评估语音翻译也带来了挑战。为了实现自动化评估，他们开发了一个系统，可以将闽南语转录成标准化的语音转录。
构建无需人工标记的语音翻译模型。图片来源：Meta
Meta 认为，无监督语音识别(wav2vec-U) 和无监督机器翻译(mBART) 的最新进展可以为未来翻译更多口语的努力提供信息。 “我们在无监督学习方面的进展表明，无需人工注释即可构建高质量的语音到语音翻译模型。它显着降低了以更少的资源和无标记数据扩大语言覆盖范围的要求。”
参考：
https://about.fb.com/news/2022/10/hokkien-ai-speech-translation/
https://ai.facebook.com/blog/ai-translation-hokkien/
【闽南语翻译神器，翻译闽南话的软件】相关文章：