察元AI教程库 · 文章 · 部署
推测解码是一种用于大语言模型（LLMs）的推理加速方法，其中一个小的语言模型生成一个草稿标记序列，然后由目标LLM并行验证该序列。近期的工作通过建立草稿标记树，显著提升了该方法的性能。
作者:Wonseok Jeon, Mukul Gagrani, Raghavv Goel · 语言:en
推测解码是一种用于大语言模型（LLMs）的推理加速方法，其中一个小的语言模型生成一个草稿标记序列，然后由目标LLM并行验证该序列。近期的工作通过建立草稿标记树，显著提升了该方法的性能。