察元AI教程库 · 文章 · 部署

SpecExec：面向消费设备的交互式LLM推理的大规模并行推测解码

随着大型语言模型的广泛应用，高效运行它们变得至关重要。最近关于LLM推理的研究采用了推测解码来实现极高的加速。然而，大多数这些工作隐含地为高端数据中心硬件设计了算法。本文我们提出

作者:Ruslan Svirschevski, Avner May, Zhuoming Chen · 语言:en

简介