察元AI教程库 · 文章 · 部署

AsyncTLS：基于异步两级稀疏注意力的高效生成式LLM推理

LLM中的长上下文推理面临二次注意力复杂度和不可接受的键值缓存内存的双重挑战。虽然按标记稀疏注意力能带来更高的精度，但其索引开销高昂；按块级别方法虽提高了效率，却牺牲了精度。我们提出AsyncTL

作者:Yuxuan Hu, Jianchao Tan, Jiaqi Zhang · 语言:en

简介