察元AI教程库 · 文章 · 部署

DSD：一种面向边缘-云敏捷大模型服务的分布式推测解码方案

大型语言模型（LLM）的推理通常面临高解码延迟和在异构的边缘-云环境中扩展性受限的问题。现有的推测解码（SD）技术虽然加速了token生成，但仍然局限于单节点执行。我们提出了DSD，一种分布式

作者:Fengze Yu, Leshu Li, Brad McDanel · 语言:en

前往原址学习

简介

大型语言模型（LLM）的推理通常面临高解码延迟和在异构的边缘-云环境中扩展性受限的问题。现有的推测解码（SD）技术虽然加速了token生成，但仍然局限于单节点执行。我们提出了DSD，一种分布式

返回教程库 · 察元AI产品家族