察元AI教程库 · 文章 · 大模型

GoldFinch：高性能的RWKV/Transformer混合模型，具有线性预填充和极端KV缓存压缩

我们引入了GoldFinch，一种混合的线性注意力/Transformer序列模型，它采用一种新技术，以线性时间与空间复杂度高效地生成高度压缩且可重用的KV缓存。GoldFinch将我们新的GOLD变换器堆叠在增强版的线性注意力模型之上

作者:Daniel Goldstein, Fares Obeid, Eric Alcaide · 语言:en

简介