察元AI教程库 · 文章 · 部署

通过顺序蒙特卡洛实现更快的LLM推理

推测解码（SD）通过从廉价的提案模型中抽取标记，并通过拒绝采样将其与昂贵的目标模型进行验证，从而加速语言模型的推理。由于拒绝采样会在首次错误时截断草案块，当草案与目标模型出现分歧时，吞吐量会下降

作者:Yahya Emara, Mauricio Barba da Costa, Chi-Chih Chang · 语言:en

简介