察元AI教程库 · 文章 · 大模型

固定精度变换器语言模型的表达能力分析

基于变换器的语言模型（LMs）已取得了广泛的实际成功，但其理论表达能力仍只被部分理解。在本研究中，我们分析了固定精度变换器的受限理想化情况，包括严格的未来掩码、软注意力以及无位置

作者:Jiaoda Li, Ryan Cotterell · 语言:en

简介