察元AI教程库 · 文章 · 部署
大型语言模型（LLMs）本质上采用自回归解码，这在推理过程中缺乏并行性，导致推理速度显著变慢。虽然像Medusa这样的方法构建了并行化的头部，但它们在不同预测位置之间缺乏足够的信息交互。
作者:Zeping Li, Xinlong Yang, Ziheng Gao · 语言:en
大型语言模型（LLMs）本质上采用自回归解码，这在推理过程中缺乏并行性，导致推理速度显著变慢。虽然像Medusa这样的方法构建了并行化的头部，但它们在不同预测位置之间缺乏足够的信息交互。