察元AI教程库 · 文章 · 部署
自回归大型语言模型（LLMs）受到顺序解码的瓶颈，每个新标记通常需要执行所有Transformer层。现有的动态深度和层跳过方法可以降低此成本，但通常依赖辅助路由机制或导致精度下降。
作者:Hossein Rajabzadeh, Maryam Dialameh, Chul B. Park · 语言:en
自回归大型语言模型（LLMs）受到顺序解码的瓶颈，每个新标记通常需要执行所有Transformer层。现有的动态深度和层跳过方法可以降低此成本，但通常依赖辅助路由机制或导致精度下降。