察元AI教程库 · 文章 · 部署

DiP-SD：面向边缘高效LLM推理的分布式流水线推测解码

推测解码作为一种加速自回归解码的有前景的技术，通过“草稿-验证”方式提升了LLM推理效率。本文研究了一种新的边缘场景，即多用户推理，其中草稿token在本地设备上生成，随后进行远程验证

作者:Yaodan Xu, Sheng Zhou, Zhisheng Niu · 语言:en

简介