察元AI教程库 · 文章 · 部署
大型输出嵌入矩阵在自回归解码过程中造成了显著的内存带宽瓶颈，尤其是对于具有大型多语言词汇表的紧凑型LLMs。我们将输出投影后接top-k token选择重新表述为一个基于token嵌入的最内积搜索问题。
作者:Martin Loretz, Sepp Hochreiter · 语言:en
大型输出嵌入矩阵在自回归解码过程中造成了显著的内存带宽瓶颈，尤其是对于具有大型多语言词汇表的紧凑型LLMs。我们将输出投影后接top-k token选择重新表述为一个基于token嵌入的最内积搜索问题。