察元AI教程库 · 文章 · 微调
大型语言模型(LLMs)由表现出各种行为和角色的神经元组成,随着模型规模的扩大,这些行为和角色变得越来越多样化。最近的研究表明,并非所有神经元在不同数据集上都活跃,这种稀疏性与任务特定性呈正相关
作者:Haoyun Xu, Runzhe Zhan, Derek F. Wong · 语言:en
大型语言模型(LLMs)由表现出各种行为和角色的神经元组成,随着模型规模的扩大,这些行为和角色变得越来越多样化。最近的研究表明,并非所有神经元在不同数据集上都活跃,这种稀疏性与任务特定性呈正相关