察元AI教程库 · 文章 · 大模型

对Transformer语言模型中的低秩训练进行研究：效率与扩展性分析

最先进的大型语言模型（LLMs）通常依赖于大规模参数，伴随着高昂的计算成本，这引发了一项研究议程，旨在减少参数数量和成本，同时不影响性能。我们的研究聚焦于基于Transformer的LLMs，特别是将低秩参数化应用于计算

作者:Xiuying Wei, Skander Moalla, Razvan Pascanu · 语言:en

简介