察元AI教程库 · 文章 · 部署

SWIFT：一种实时自适应推测解码，用于加速大语言模型推理

推测解码（SD）已成为加速LLM推理的常用范式，无需牺牲质量。该方法首先使用紧凑模型高效地生成多个token，然后使用目标LLM并行验证这些token。尽管该技术已取得显著成果，

作者:Heming Xia, Yongqi Li, Jun Zhang · 语言:en

简介