察元AI教程库 · 文章 · 部署

PyramidInfer：一种用于高吞吐量LLM推理的金字塔KV缓存压缩方法

大型语言模型（LLMs）展现了卓越的推理能力，但在推理过程中面临GPU内存使用问题，限制了其在聊天机器人等实时应用中的可扩展性。为了加速推理，我们将在GPU内存中存储计算出的键值（KV缓存）。现有

作者:Dongjie Yang, XiaoDong Han, Yan Gao · 语言:en

前往原址学习

简介

大型语言模型（LLMs）展现了卓越的推理能力，但在推理过程中面临GPU内存使用问题，限制了其在聊天机器人等实时应用中的可扩展性。为了加速推理，我们将在GPU内存中存储计算出的键值（KV缓存）。现有

返回教程库 · 察元AI产品家族