察元AI教程库 · 文章 · 大模型

DeLighT：深度且轻量级的Transformer

我们引入了一种深度且轻量级的Transformer模型DeLighT，其在参数数量显著减少的情况下，性能与标准Transformer模型相当或更优。DeLighT通过DeLighT变换，在每个Transformer块内更高效地分配参数，实现了

作者:Sachin Mehta, Marjan Ghazvininejad, Srinivasan Iyer · 语言:en

简介