察元AI教程库 · 文章 · 大模型

从插值到外推：算术Transformer的完整长度泛化

本文研究了变换器模型在学习算术算法（如加法和奇偶性）方面的内在能力。通过实验和注意力分析，我们识别出实现最优长度泛化的若干关键因素。我们展示了变换器模型

作者:Shaoxiong Duan, Yining Shi, Wei Xu · 语言:en

前往原址学习

简介

本文研究了变换器模型在学习算术算法（如加法和奇偶性）方面的内在能力。通过实验和注意力分析，我们识别出实现最优长度泛化的若干关键因素。我们展示了变换器模型

返回教程库 · 察元AI产品家族