察元AI教程库 · 文章 · 大模型

大语言模型推理效率提升：关于推测解码的全面综述

为了缓解大型语言模型（LL ）自回归解码带来的高推理延迟，推测解码作为一种新型解码范式被提出，用于LLM推理。在每个解码步骤中，该方法首先高效地草拟出若干未来的token，然后在后续阶段验证这些token

作者:Heming Xia, Zhe Yang, Qingxiu Dong · 语言:en

简介