察元AI教程库 · 文章 · 大模型

Hi-Transformer：层次化交互Transformer用于高效且有效的长文档建模

Transformer对文本建模至关重要。然而，它在处理长文档时存在困难，因为其计算复杂度与输入文本长度呈二次增长。为解决此问题，我们提出了一个层次化交互式Transformer（Hi-Transformer），以实现高效且有效的长文档建模

作者:Chuhan Wu, Fangzhao Wu, Tao Qi · 语言:en

前往原址学习

简介

Transformer对文本建模至关重要。然而，它在处理长文档时存在困难，因为其计算复杂度与输入文本长度呈二次增长。为解决此问题，我们提出了一个层次化交互式Transformer（Hi-Transformer），以实现高效且有效的长文档建模

返回教程库 · 察元AI产品家族