察元AI教程库 · 文章 · 大模型

MT6：一种多语言预训练的文本到文本变换器，使用翻译对进行训练

多语言T5（mT5）在大规模单语文本上预训练了一个序列到序列模型，已在许多跨语言任务中展现出良好的效果。本文我们改进了基于翻译对的多语言文本到文本迁移Transformer（mT6）。具体而言，我们探索了三种跨语言

作者:Zewen Chi, Li Dong, Shuming Ma · 语言:en

简介