察元AI教程库 · 文章 · 大模型
随着大语言模型(LLMs)的广泛应用,理解它们如何从训练数据中学习和记忆变得至关重要。传统观点认为,LLM的记忆仅发生在训练数据中序列重复时。我们证明,LLM通过组合训练数据中的片段来实现记忆
作者:Igor Shilov, Matthieu Meeus, Yves-Alexandre de Montjoye · 语言:en
随着大语言模型(LLMs)的广泛应用,理解它们如何从训练数据中学习和记忆变得至关重要。传统观点认为,LLM的记忆仅发生在训练数据中序列重复时。我们证明,LLM通过组合训练数据中的片段来实现记忆