THUMT是清华大学自然语言处理与社会人文计算实验室开发的神经机器翻译工具包。 目前，THUMT 有三种实现：THUMT-PyTorch、THUMT-TensorFlow 和 THUMT-Theano。 其中，THUMT-PyTorch实现了主流的Transformer[3]模型； THUMT-TensorFlow 实现了 Seq2Seq[1]、RNNSearch[2] 和 Transformer[3] 模型； THUMT-Theano 实现了 RNNSearch[2] 模型。
基于神经网络的机器翻译
THUMT的PyTorch和TensorFlow版本支持多机、多卡并行训练，并提供混合精度训练，可以充分利用现有GPU的硬件性能，并支持训练过程中的自动模型验证。 THUMT还支持梯度累积，可以在低计算资源的情况下模拟大规模硬件条件下的实验设置。 THUMT还可以使用TensorBoard进行可视化，方便训练时各种数据的可视化和分析。
THUMT 提供简单的命令行界面以及完整的训练和解码支持。 THUMT代码简单、轻量，使用户可以轻松进行更改和扩展。
实现细节（PyTorch 版本）：
安装与使用
THUMT 可以使用 PyTorch 的“pip install thumt”直接安装。 具体使用方法，您可以阅读我们在GitHub代码中的文档()。
演示网站
为了方便更多人了解和使用机器翻译，THUMT团队还搭建了一个可用的（轻量级）DEMO网站（）。 网站提供英汉互译以及其他8种语言的英译。 此外，还提供古今文本互译。 用户可以通过直接输入要翻译的内容或上传文件来进行翻译。 同时，网站还提供了语音翻译小程序的入口。 您可以使用微信扫描对应二维码，打开SpeechMT小程序进行语音翻译。
多语言在线翻译系统
结论
THUMT 项目将长期维护和完善。 我们欢迎大家使用THUMT作为机器翻译领域学术研究和应用开发的工具。 我们也期待您提出宝贵的意见和建议，或者加入我们的团队共同开发和完善工具包。
讲师
开发团队
相关文献
[1] Sutskever, I.、Vinyals, O. 和 Le, QV (2014)。 使用神经网络进行序列到序列学习。 神经信息处理系统的进展（第 3104-3112 页）。
[2] Bahdanau, D.、Cho, K. 和 Bengio, Y. (2015)。 通过共同学习对齐和翻译来进行神经机器翻译。 第三届国际学习表征会议论文集。
[3] Vaswani, A.、Shazeer, N.、Parmar, N.、Uszkoreit, J.、Jones, L.、Gomez, AN, ... & Polosukhin, I. (2017)。 您所需要的就是关注。 神经信息处理系统的进展（第 5998-6008 页）。
[4] 沉S.，程Y.，何Z.，何W.，吴H.，孙明，＆刘Y.（2016）。 神经机器翻译的最低风险培训。 计算语言学协会第 54 届年会记录（第 1683-1692 页）。
[5] 程勇、徐伟、何志、何伟、吴红、孙明、刘勇（2016）。 神经机器翻译的半监督学习。 计算语言学协会第 54 届年会记录（第 1965-1974 页）。
[6] 丁勇，刘勇，栾红，孙明（2017）。 可视化和理解神经机器翻译。 计算语言学协会第 55 届年会记录（第 1150-1159 页）。
[7] Shaw, P.、Uszkoreit, J. 和 Vaswani, A. (2018)。 具有相对位置表示的自注意力。 计算语言学协会北美分会 2018 年会议记录：人类语言技术（第 464-468 页）。
[8] Kingma, DP, & Ba, J. (2015)。 Adam：一种随机优化方法。 第三届国际学习表征会议论文集。
【清华大学神经机器翻译工具包】相关文章：