察元AI教程库 · 文章 · 大模型
我们提出了一种新颖的方法，在Transformer模型中通过训练过程学习选择最具信息性的token表示，从而聚焦于输入的特定任务部分，实现了从二次时间与内存复杂度到次线性复杂度的转变。
作者:Michał Pietruszka, Łukasz Borchmann, Łukasz Garncarek · 语言:en
我们提出了一种新颖的方法，在Transformer模型中通过训练过程学习选择最具信息性的token表示，从而聚焦于输入的特定任务部分，实现了从二次时间与内存复杂度到次线性复杂度的转变。