察元AI教程库 · 文章 · 大模型

草案与验证：通过自推测解码实现大语言模型无损加速

我们提出了一种新的推理方案——自适应推测解码，用于在无需辅助模型的情况下加速大型语言模型（LLM）。该方法具有两阶段过程：草稿生成和验证。草稿阶段在略低的质量下生成草稿标记

作者:Jun Zhang, Jue Wang, Huan Li · 语言:en

简介