察元AI教程库 · 文章 · 微调

为自回归大语言模型提供扩散启发的掩码微调以实现知识注入

大型语言模型（LLMs）常用于事实不断变化的环境，然而，通过在非结构化文本上进行微调来更新事实知识，通常会面临两个问题：1）依赖计算密集的改写增强，2）反向诅咒。近期研究表明，扩散大型语言模型（DLMs）（

作者:Xu Pan, Ely Hahami, Jingxuan Fan · 语言:en

前往原址学习

简介

大型语言模型（LLMs）常用于事实不断变化的环境，然而，通过在非结构化文本上进行微调来更新事实知识，通常会面临两个问题：1）依赖计算密集的改写增强，2）反向诅咒。近期研究表明，扩散大型语言模型（DLMs）（

返回教程库 · 察元AI产品家族