察元AI教程库 · 文章 · 大模型

Funnel-Transformer:通过过滤序列冗余实现高效语言处理

随着语言预训练的成功,开发更高效、可扩展的架构,能够以更低的成本利用大量无标签数据,变得尤为迫切。为了提高效率,我们考察了在维护全长度token级预训练中被忽视的冗余问题。

作者:Zihang Dai, Guokun Lai, Yiming Yang · 语言:en

前往原址学习

简介

随着语言预训练的成功,开发更高效、可扩展的架构,能够以更低的成本利用大量无标签数据,变得尤为迫切。为了提高效率,我们考察了在维护全长度token级预训练中被忽视的冗余问题。

返回教程库 · 察元AI产品家族