察元AI教程库 · 文章 · 部署

HGCA：混合GPU-CPU注意力用于长上下文LLM推理

大型语言模型（LLMs）的推理扩展正越来越受到GPU内存有限的限制，尤其是在长上下文生成所需的键值（KV）缓存不断增长的情况下。尽管现有方法通过将KV缓存转移到CPU内存或采用稀疏注意力来减轻GPU负载，但它们

作者:Weishu Deng, Yujie Yang, Peiran Du · 语言:en

前往原址学习

简介

大型语言模型（LLMs）的推理扩展正越来越受到GPU内存有限的限制，尤其是在长上下文生成所需的键值（KV）缓存不断增长的情况下。尽管现有方法通过将KV缓存转移到CPU内存或采用稀疏注意力来减轻GPU负载，但它们

返回教程库 · 察元AI产品家族