察元AI教程库 · 文章 · 部署

ASPIRE：一种异步批处理的自适应推测解码，用于长上下文LLM推理

长上下文LLM推理受到注意力的限制，其重复的KV缓存读取使得解码过程成为内存瓶颈。自推测解码通过使用稀疏注意力草案标记并用完整注意力验证来缓解这一问题，但现有的批量方法仍保持同步：所有请求

作者:Amir Ziashahabi, Hossein Entezari Zarch, Lei Gao · 语言:en

简介