察元AI教程库 · 文章 · 大模型

通过习语理解Transformer的记性与回忆

为了产生准确的预测，语言模型（LMs）必须在泛化和记忆之间取得平衡。然而，关于Transformer LMs如何利用其记忆能力的机制知之甚少。模型何时决定输出一个记忆化的短语，以及该短语如何被检索

作者:Adi Haviv, Ido Cohen, Jacob Gidron · 语言:en

前往原址学习

简介

为了产生准确的预测，语言模型（LMs）必须在泛化和记忆之间取得平衡。然而，关于Transformer LMs如何利用其记忆能力的机制知之甚少。模型何时决定输出一个记忆化的短语，以及该短语如何被检索

返回教程库 · 察元AI产品家族