察元AI教程库 · 文章 · 大模型

ViT5：一种基于Transformer的越南语文本到文本预训练生成模型

本文介绍了一种用于越南语的预训练基于变换器的编码器-解码器模型ViT5。通过T5风格的自监督预训练，ViT5在大量高质量且多样化的越南语文本语料库上进行训练。我们在两个下游文本生成任务上对ViT5进行了基准测试：摘要式文本生成

作者:Long Phan, Hieu Tran, Hieu Nguyen · 语言:en

简介