察元AI教程库 · 文章 · 部署

通过仿真与数据库管理系统启发的缓存替换策略节省LLM推理系统开发及在线工作负载的GPU小时

LLMs在全球范围内被广泛用于日常任务到代理系统和数据分析，需要大量GPU资源。尽管LLM推理系统能够处理来自多个用户的数百万请求，但它们通常缺乏理论模型来判断是否实现了预期的每请求性能。

作者:Kyoungmin Kim, Jiacheng Li, Kijae Hong · 语言:en

简介