察元AI教程库 · 文章 · 大模型

注意力对齐与灵活的位置嵌入提升Transformer的长度外推能力

一个理想的、可扩展长度的Transformer语言模型可以在不进行微调的情况下处理比训练长度更长的序列。这种长上下文利用能力严重依赖于灵活的位置编码设计。对现有大型预训练

作者:Ta-Chung Chi, Ting-Han Fan, Alexander I. Rudnicky · 语言:en

简介