察元AI教程库 · 文章 · 部署

Harvest：用于大语言 语言模型（LLM）推理的机遇性点对点GPU缓存

随着模型规模的扩大以及自回归解码过程中键值（KV）缓存的线性增长，大型语言模型（LLM）的推理越来越受到GPU内存容量的限制，而非计算吞吐量。现有方法通过卸载模型状态来缓解内存压力

作者:Nikhil Gopal, Kostis Kaffes · 语言:en

前往原址学习

简介

随着模型规模的扩大以及自回归解码过程中键值（KV）缓存的线性增长，大型语言模型（LLM）的推理越来越受到GPU内存容量的限制，而非计算吞吐量。现有方法通过卸载模型状态来缓解内存压力

返回教程库 · 察元AI产品家族