察元AI教程库 · 文章 · 大模型

长度感知的多核变换器用于长文档分类

长文档对神经语言模型构成了独特挑战，因为它们需要大量内存。尽管现有的最先进（SOTA）模型将长文本分割成等长片段（例如每片段128个标记）或部署稀疏注意力网络，但这些方法也面临新的挑战

作者:Guangzeng Han, Jack Tsao, Xiaolei Huang · 语言:en

简介