察元AI教程库 · 文章 · 大模型

Transformer的亚二次替代方案的根本局限性

Transformer架构广泛应用于许多流行且影响重大的大型语言模型中。其核心是注意力机制，用于计算token对之间的相关性。执行注意力计算需要与输入规模平方成正比的时间，这已成为时间瓶颈

作者:Josh Alman, Hantao Yu · 语言:en

前往原址学习

简介

Transformer架构广泛应用于许多流行且影响重大的大型语言模型中。其核心是注意力机制，用于计算token对之间的相关性。执行注意力计算需要与输入规模平方成正比的时间，这已成为时间瓶颈

返回教程库 · 察元AI产品家族