察元AI教程库 · 文章 · 部署

SSV：稀疏推测验证用于高效大语言模型（LLM）推理

推测解码和动态稀疏注意力是两种互补的加速长上下文LLM推理的方法：前者通过多个验证查询摊销目标模型的执行，后者通过减少每个查询的KV缓存工作集。然而，直接结合这两种方法

作者:Zhibin Wang, Ziyu Zhong, Nuo Shen · 语言:en

简介