察元AI教程库 · 文章 · 微调

语言模型就是《辛普森一家》！通过任务算术实现微调后语言模型的安全再对齐

对齐的语言模型面临一个重大限制：其微调过程往往导致安全性的下降。为解决此问题，我们提出了一种简单的安全重对齐方法RESTA，该方法通过任务算术实现安全恢复。RESTA意为“通过任务算术恢复安全”。其核心在于一个简单的算术操作

作者:Rishabh Bhardwaj, Do Duc Anh, Soujanya Poria · 语言:en

简介