察元AI教程库 · 文章 · 大模型

通过资源感知的并行推测解码实现大型语言模型的协作推理

对设备上大型语言模型（LLM）推理日益增长的需求凸显了高效移动边缘计算（MEC）解决方案的必要性，尤其是在资源受限的环境中。推测解码通过将token生成过程在轻量级的草稿模型和主模型之间进行划分，提供了一个有前景的解决方案

作者:Jungyeon Koh, Hyun Jong Yang · 语言:en

简介