察元AI教程库 · 文章 · 大模型

LiFT：通过线性规划进行局部搜索以控制过拟合的Transformer

本文提出了一种基于线性规划（LP）的局部搜索框架，用于对预训练的Transformer模型进行微调，并明确控制过拟合问题。该方法将Transformer微调问题表述为一个双层优化为基础的正则化问题，其中模型参数和重新

作者:Abhishek Shukla, Anikeit Khanna, Ankur Sinha · 语言:en

简介