察元AI教程库 · 文章 · 大模型

通过关联记忆理解Transformer中的事实回忆

大型语言模型在事实回忆方面表现出令人印象深刻的能力。先前的研究发现，经过事实回忆任务训练的Transformer模型能够以与其参数数量成比例的速度存储信息。在我们的工作中，我们展示了浅层Transformer模型可以使用一种组合

作者:Eshaan Nichani, Jason D. Lee, Alberto Bietti · 语言:en

简介