察元AI教程库 · 文章 · 大模型

在扩展Transformer时，稀疏性已足够

大型Transformer模型在多种任务上表现优异，但训练或微调成本高昂，且解码速度缓慢，导致其应用和研究变得难以实现。我们通过利用稀疏性来解决这一问题，研究了Transformer中所有层的稀疏变体，并提出

作者:Sebastian Jaszczur, Aakanksha Chowdhery, Afroz Mohiuddin · 语言:en

简介