察元AI教程库 · 文章 · 部署

Cocktail：面向长上下文大语言 语言模型推理的分块自适应混合精度量化

近年来，大型语言 语言模型（LLMs）能够处理越来越长的上下文。然而，过长的上下文可能导致无法容忍的推理延迟和GPU内存使用。现有方法提出对LLM中的键值（KV）缓存进行混合精度量化，以实现按令牌粒度的优化

作者:Wei Tao, Bin Zhang, Xiaoyang Qu · 语言:en

前往原址学习

简介

近年来，大型语言 语言模型（LLMs）能够处理越来越长的上下文。然而，过长的上下文可能导致无法容忍的推理延迟和GPU内存使用。现有方法提出对LLM中的键值（KV）缓存进行混合精度量化，以实现按令牌粒度的优化

返回教程库 · 察元AI产品家族