察元AI教程库 · 文章 · 部署

KV Admission：通过学习“写什么”来实现高效长上下文LLM推理

长上下文LLM推理受到二次注意力复杂度和线性键值（KV）缓存增长的限制。以往的方法通过事后选择或驱逐来缓解这一问题，但忽略了根本的低效性：无差别地接纳token。本文将KV管理正式化为

作者:Yen-Chieh Huang, Pi-Cheng Hsiu, Rui Fang · 语言:en

简介