察元AI教程库 · 文章 · 大模型

探索大型语言模型预训练中的遗忘现象

灾难性遗忘仍然是构建大型语言模型（LLMs）中全能模型的一个严峻障碍。尽管在LLM微调中的任务级遗忘方面已有开创性研究，但对预训练阶段中的遗忘关注甚少。我们系统地探讨了遗忘的存在及其

作者:Chonghua Liao, Ruobing Xie, Xingwu Sun · 语言:en

简介