察元AI教程库 · 文章 · 大模型

重新审视填充变换器的表达性：哪些架构选择重要，哪些不重要

最近的研究描述了Transformer可以和不能计算的内容，通过与布尔电路的联系，但现有结果缺乏精确的刻画，并且对建模选择敏感。填充的Transformer——其输入附加了诸如“...”这样的填充符号——作为一种有用的工具

作者:Anej Svete, William Merrill, Ryan Cotterell · 语言:en

简介