察元AI教程库 · 文章 · 大模型

用于高效大型语言模型解码的自适应草稿验证

大型语言模型（LLM）解码涉及基于给定上下文生成一系列标记，每个标记通过模型学习到的概率逐个预测。典型的自回归解码方法需要为每个标记生成单独地前向传递模型。

作者:Xukun Liu, Bowen Lei, Ruqi Zhang · 语言:en

前往原址学习

简介

大型语言模型（LLM）解码涉及基于给定上下文生成一系列标记，每个标记通过模型学习到的概率逐个预测。典型的自回归解码方法需要为每个标记生成单独地前向传递模型。

返回教程库 · 察元AI产品家族