察元AI教程库 · 文章 · 部署

关于跨层键值共享的系统性研究，用于高效LLM推理

最近，跨层共享键值（KV）缓存被发现能有效提升大语言模型（LLMs）的高效推理。为了系统性地研究不同层级KV共享技术，我们提出一个统一框架，涵盖多种近期方法及其新颖变体

作者:You Wu, Haoyi Wu, Kewei Tu · 语言:en

前往原址学习

简介

最近，跨层共享键值（KV）缓存被发现能有效提升大语言模型（LLMs）的高效推理。为了系统性地研究不同层级KV共享技术，我们提出一个统一框架，涵盖多种近期方法及其新颖变体

返回教程库 · 察元AI产品家族