察元AI教程库 · 文章 · 微调

潜知识作为微调大型语言模型中事实获取的预测因子

大型语言模型在预训练后存储的生物医学事实强度不均：一些事实存在于权重中，但在确定性解码下不可可靠访问（潜在知识），而另一些则表示得非常稀疏。我们对Llama 3.1 8B Instruct进行了微调，以学习本体术语

作者:Daniel B. Hier, Tayo Obafemi-Ajayi · 语言:en

前往原址学习

简介

大型语言模型在预训练后存储的生物医学事实强度不均：一些事实存在于权重中，但在确定性解码下不可可靠访问（潜在知识），而另一些则表示得非常稀疏。我们对Llama 3.1 8B Instruct进行了微调，以学习本体术语

返回教程库 · 察元AI产品家族