察元AI教程库 · 文章 · 大模型
我们研究了大语言模型（LLMs）在神经元层面如何区分记忆与泛化。通过精心设计的任务，我们识别出负责每种行为的特定神经元子集。在从头训练的GPT-2模型和预训练的LLaMA-模型上进行了实验。
作者:Ko-Wei Huang, Yi-Fu Fu, Ching-Yu Tsai · 语言:en
我们研究了大语言模型（LLMs）在神经元层面如何区分记忆与泛化。通过精心设计的任务，我们识别出负责每种行为的特定神经元子集。在从头训练的GPT-2模型和预训练的LLaMA-模型上进行了实验。