察元AI教程库 · 文章 · 部署

镜像推测解码：打破LLM推理中的串行壁垒

推测解码通过使用草稿模型提前预测来加速LLM推理，但其收益受到自回归草稿生成成本的限制：增加草稿大小提高了接受率，但引入了额外的延迟开销，加剧了速度与准确率之间的权衡。现有方法

作者:Nikhil Bhendawade, Kumari Nishu, Arnav Kundu · 语言:en

简介