察元AI教程库 · 文章 · 大模型

AdaSpec：面向快速且符合SLO的大语言模型服务的自适应推测解码

基于云的大型语言模型（LLM）服务通常面临在动态请求模式下实现低推理延迟和满足服务等级目标（SLOs）的挑战。推测解码技术，即利用轻量级模型进行草稿生成，而用LLM进行验证，已成为一种极具吸引力的解决方案

作者:Kaiyu Huang, Hao Wu, Zhubo Shi · 语言:en

前往原址学习

简介

基于云的大型语言模型（LLM）服务通常面临在动态请求模式下实现低推理延迟和满足服务等级目标（SLOs）的挑战。推测解码技术，即利用轻量级模型进行草稿生成，而用LLM进行验证，已成为一种极具吸引力的解决方案

返回教程库 · 察元AI产品家族