察元AI教程库 · 文章 · 部署

KV缓存的互联网：在LLM推理时代重新思考经典基础设施的边界

LLM推理已经演变为一个覆盖代理、检索、工具使用、代码执行和多模态推理的全球性、异构工作负载。这些工作负载天然支持从重叠输入中复用上下文，从而为存储和复用KV缓存提供了重大机会，而不是每次都重新计算

作者:Siddhant Ray, Nick Feamster, Junchen Jiang · 语言:en

简介