察元AI教程库 · 文章 · 微调

用于语言模型微调的信息引导正则化

预训练-微调范式一直是现代语言建模中迁移学习的事实策略。随着对任务适应在LLMs中通常表现为跨任务共享参数的理解加深，我们认为需要一种更精准的正则化方法来解决这一问题。

作者:Mandar Sharma, Nikhil Muralidhar, Shengzhe Xu · 语言:en

前往原址学习

简介

预训练-微调范式一直是现代语言建模中迁移学习的事实策略。随着对任务适应在LLMs中通常表现为跨任务共享参数的理解加深，我们认为需要一种更精准的正则化方法来解决这一问题。

返回教程库 · 察元AI产品家族