察元AI教程库 · 文章 · 大模型

并行性权衡：日志精度变换器的局限性

尽管变换器在现代自然语言处理中无处不在，但描述变换器神经网络的计算能力仍是一个有趣的开放问题。我们证明，当算术精度与输入标记数的对数成正比，且前馈网络可使用空间可计算的运算时，变换器

作者:William Merrill, Ashish Sabharwal · 语言:en

简介