察元AI教程库 · 文章 · 微调

层次化对齐：通过功能层专业化实现大型语言模型的手术级微调

现有的大型语言模型（LLMs）对齐技术，如直接偏好优化（DPO），通常将模型视为一个整体实体，对所有层施加统一的优化压力。这种方法忽略了Transformer架构内部各层的功能专业化。

作者:Yukun Zhang, Qi Dong · 语言:en

前往原址学习

简介

现有的大型语言模型（LLMs）对齐技术，如直接偏好优化（DPO），通常将模型视为一个整体实体，对所有层施加统一的优化压力。这种方法忽略了Transformer架构内部各层的功能专业化。

返回教程库 · 察元AI产品家族