察元AI教程库 · 文章 · 部署

基于CTC草案模型的推测解码用于LLM推理加速

在多种应用场景中，大型语言模型（LLMs）的推理加速被提出，而推测解码在解决推理加速方面显示出优势。推测解码通常引入一个草案模型来辅助基础LLM，其中草案模型生成

作者:Zhuofan Wen, Shangtong Gui, Yang Feng · 语言:en

前往原址学习

简介

在多种应用场景中，大型语言模型（LLMs）的推理加速被提出，而推测解码在解决推理加速方面显示出优势。推测解码通常引入一个草案模型来辅助基础LLM，其中草案模型生成

返回教程库 · 察元AI产品家族