察元AI教程库 · 文章 · 部署

高效LLM推理的激活检查点与混合缓存

近年来，随着大型语言模型（LLMs）模型规模的不断增大，为了满足内存容量需求而使用大量GPU，导致生成每个token的高昂成本。为了提供成本效益高的LLM推理，同时在延迟约束放宽的情况下，大量研究致力于通过扩展GPU内存来实现

作者:Sanghyeon Lee, Hongbeen Kim, Soojin Hwang · 语言:en

前往原址学习

简介

近年来，随着大型语言模型（LLMs）模型规模的不断增大，为了满足内存容量需求而使用大量GPU，导致生成每个token的高昂成本。为了提供成本效益高的LLM推理，同时在延迟约束放宽的情况下，大量研究致力于通过扩展GPU内存来实现

返回教程库 · 察元AI产品家族