察元AI教程库 · 文章 · 部署

大语言模型（LLM）缓存赌博问题再审视：解决查询异构性以实现低成本高效推理

本文重新审视了LLM缓存带机问题，特别关注如何解决查询异质性以实现低成本的LLM推理。以往的研究通常假设查询大小是均匀的。异质查询大小引入了缓存选择的组合结构，使得缓存替换变得更加复杂

作者:Hantao Yang, Hong Xie, Defu Lian · 语言:en

简介