察元AI教程库 · 文章 · 部署

SPECTRE：面向资源高效的混合普通-并行推测服务

LLM服务平台正越来越多地部署为多模型云系统，其中用户需求通常呈长尾分布：少数热门大模型接收大部分请求，而大量小型尾部模型则被严重忽视。我们提出 \textbf{SPECTRE}（并行 \textbf{SPEC}ulative 解码，多模型）

作者:Jincheng Xie, Yawen Ling, Qi Xiao · 语言:en

前往原址学习

简介

LLM服务平台正越来越多地部署为多模型云系统，其中用户需求通常呈长尾分布：少数热门大模型接收大部分请求，而大量小型尾部模型则被严重忽视。我们提出 \textbf{SPECTRE}（并行 \textbf{SPEC}ulative 解码，多模型）

返回教程库 · 察元AI产品家族