察元AI教程库 · 文章 · 大模型
尽管大型预训练的Transformer模型在处理自然语言任务方面表现出色，但处理长序列输入仍然是一个重大挑战。其中一个典型任务是长输入摘要，其中输入长度超过了大多数预训练模型的最大输入上下文长度。
作者:Jason Phang, Yao Zhao, Peter J. Liu · 语言:en
尽管大型预训练的Transformer模型在处理自然语言任务方面表现出色，但处理长序列输入仍然是一个重大挑战。其中一个典型任务是长输入摘要，其中输入长度超过了大多数预训练模型的最大输入上下文长度。