察元AI教程库 · 文章 · 大模型

大语言模型中的大规模激活

我们观察到大语言模型（LLMs）中一个实证现象——很少有激活值显著高于其他值（例如，大10万倍）。我们称这些为“大规模激活”。首先，我们证明了大规模激活在各种LLMs和不同任务中广泛存在

作者:Mingjie Sun, Xinlei Chen, J. Zico Kolter · 语言:en

前往原址学习

简介

我们观察到大语言模型（LLMs）中一个实证现象——很少有激活值显著高于其他值（例如，大10万倍）。我们称这些为“大规模激活”。首先，我们证明了大规模激活在各种LLMs和不同任务中广泛存在

返回教程库 · 察元AI产品家族