察元AI教程库 · 文章 · 大模型

层次化注意力Transformer在高效长文档分类中的探索

非层次稀疏注意力的Transformer模型，如Longformer和Big Bird，是处理长文档的流行方法。与原始Transformer相比，这些方法在效率方面有明显优势，但层次注意力Transformer（HAT）模型

作者:Ilias Chalkidis, Xiang Dai, Manos Fergadiotis · 语言:en

前往原址学习

简介

非层次稀疏注意力的Transformer模型，如Longformer和Big Bird，是处理长文档的流行方法。与原始Transformer相比，这些方法在效率方面有明显优势，但层次注意力Transformer（HAT）模型

返回教程库 · 察元AI产品家族