察元AI教程库 · 文章 · 部署

BALANCE：无线边缘网络中的混合自回归-推测式LLM推理

边缘推理是下一代移动网络中提供大型语言模型（LLM）推理服务的有前景范式。LLM推理主要依赖两种方法：自回归解码（AD）按顺序生成输出token，导致延迟较长；投机解码（SD）则

作者:Guanqiao Qu, Shuo Chen, Qian Chen · 语言:en

前往原址学习

简介

边缘推理是下一代移动网络中提供大型语言模型（LLM）推理服务的有前景范式。LLM推理主要依赖两种方法：自回归解码（AD）按顺序生成输出token，导致延迟较长；投机解码（SD）则

返回教程库 · 察元AI产品家族