察元AI教程库 · 文章 · 部署

面向低延迟边缘-云大语言模型推理的延迟自适应推测控制

推测解码通过使用轻量级草案模型提出标记，以及较大的目标模型并行验证这些标记，从而加速大型语言模型（LLM）的推理过程。然而，在分布式边缘-云推理中，必须在线控制草案长度：较长的草案会增加通信开销

作者:Kangkang Sun, Jianhua Li, Xiuzhen Chen · 语言:en

前往原址学习

简介

推测解码通过使用轻量级草案模型提出标记，以及较大的目标模型并行验证这些标记，从而加速大型语言模型（LLM）的推理过程。然而，在分布式边缘-云推理中，必须在线控制草案长度：较长的草案会增加通信开销

返回教程库 · 察元AI产品家族