察元AI教程库 · 文章 · 大模型

大语言模型中的超重参数

最近的研究显示了一个令人惊讶的结果：大型语言模型（LLM）参数中的小部分异常值对模型质量具有不成比例的重要影响。LLM包含数十亿参数，因此这些小部分（如0.01%）实际上对应数万甚至数十万个参数。

作者:Mengxia Yu, De Wang, Qi Shan · 语言:en

前往原址学习

简介

最近的研究显示了一个令人惊讶的结果：大型语言模型（LLM）参数中的小部分异常值对模型质量具有不成比例的重要影响。LLM包含数十亿参数，因此这些小部分（如0.01%）实际上对应数万甚至数十万个参数。

返回教程库 · 察元AI产品家族