察元AI教程库 · 文章 · 部署

SelfJudge：通过自监督裁判验证实现更快的推测解码

推测解码通过将候选标记从草稿模型与大型目标模型进行验证来加速LLM的推理。最近的研究通过放宽验证标准（接受可能与目标模型输出有微小差异的草稿标记）来提升这一过程，但

作者:Kanghoon Yoon, Minsub Kim, Sungjae Lee · 语言:en

简介