察元AI教程库 · 文章 · 部署

KV-Runahead：通过并行生成键值缓存实现可扩展的因果LLM推理

大语言语言模型（LLM）推理包含两个阶段：提示（或预填充）阶段以生成首个标记，以及扩展（或解码）阶段以生成后续标记。在本研究中，我们提出了一种高效的并行化方案KV-Runahead，以加速预填充阶段。关键观察是

作者:Minsik Cho, Mohammad Rastegari, Devang Naik · 语言:en

简介