察元AI教程库 · 文章 · 大模型

Transformer-VQ：基于向量量化实现线性时间的Transformer

我们引入了Transformer-VQ，这是一种仅解码器的Transformer，通过线性时间计算基于softmax的密集自注意力。Transformer-VQ的高效注意力得益于向量量化键和一种新颖的缓存机制。在我们的大规模实验中，Transformer-VQ在查询方面表现出高度竞争力

作者:Lucas D. Lingle · 语言:en

前往原址学习

简介

我们引入了Transformer-VQ，这是一种仅解码器的Transformer，通过线性时间计算基于softmax的密集自注意力。Transformer-VQ的高效注意力得益于向量量化键和一种新颖的缓存机制。在我们的大规模实验中，Transformer-VQ在查询方面表现出高度竞争力

返回教程库 · 察元AI产品家族