察元AI教程库 · 文章 · 部署

FDC：用于高效大语言模型推理的快速键值维度压缩

在大型语言模型中，键值缓存（KVC）的内存限制在推理过程中构成挑战。本文提出FDC，一种快速的KV维度压缩系统，消除了现有KV维度压缩系统Palu中产生的解压开销。

作者:Zeyu Zhang, Haiying Shen · 语言:en

前往原址学习

简介

在大型语言模型中，键值缓存（KVC）的内存限制在推理过程中构成挑战。本文提出FDC，一种快速的KV维度压缩系统，消除了现有KV维度压缩系统Palu中产生的解压开销。

返回教程库 · 察元AI产品家族