察元AI教程库 · 文章 · 大模型

Kformer:在Transformer前馈层中注入知识

最近,各种知识注入模型被用于预训练语言模型(PTMs);然而,大多数先前的研究忽略了PTMs自身所拥有的隐式知识,这些知识以参数形式存储。最近的一项研究观察到了前馈网络中的知识神经元

作者:Yunzhi Yao, Shaohan Huang, Li Dong · 语言:en

前往原址学习

简介

最近,各种知识注入模型被用于预训练语言模型(PTMs);然而,大多数先前的研究忽略了PTMs自身所拥有的隐式知识,这些知识以参数形式存储。最近的一项研究观察到了前馈网络中的知识神经元

返回教程库 · 察元AI产品家族