察元AI教程库 · 文章 · 大模型

先训练大模型，再压缩：重新思考Transformer的模型大小以实现高效训练与推理

由于硬件资源有限，训练深度学习模型的目标通常是最大化准确率，同时满足训练和推理过程中的时间和内存约束。我们研究了模型大小的影响，重点关注用于NLP任务的Transformer模型，在这种设定下

作者:Zhuohan Li, Eric Wallace, Sheng Shen · 语言:en

简介