察元AI教程库 · 文章 · 大模型

一种用于构建具有预定义KV缓存容量的大语言模型的方法

本文介绍了一种新方法，即有界缓存变换器（BCT），用于构建具有预定义键值（KV）缓存容量的大型语言模型。BCT通过实现有限长度的KV缓存，解决了传统KV缓存中过度内存消耗的问题，该缓存是部分

作者:Zhonghua Yi, Ge Niu, Lei Wang · 语言:en

简介