察元AI教程库 · 文章 · 大模型

IIET：一种通过隐式迭代欧拉方法实现的高效数值Transformer

高阶数值方法在自然语言处理和计算机视觉等任务中提升了Transformer的性能，但由于计算开销的增加，引入了性能与效率之间的权衡。我们的分析表明，传统效率技术（如蒸馏）可能会对模型性能产生负面影响

作者:Xinyu Liu, Bei Li, Jiahao Liu · 语言:en

简介