察元AI教程库 · 文章 · 微调

针对语言模型的语法可接受性进行优化：一种关于微调技术的比较研究

本研究探讨了使用CoLA数据集对开放预训练Transformer（OPT-1 25M）进行语法可接受性任务的微调（FT）。通过比较Vanilla-Fine-Tuning（VFT）、基于模式的微调（PBFT）以及参数高效微调技术（PEFT）如低秩适应

作者:Shobhit Ratan, Farley Knight, Ghada Jerfel · 语言:en

前往原址学习

简介

本研究探讨了使用CoLA数据集对开放预训练Transformer（OPT-1 25M）进行语法可接受性任务的微调（FT）。通过比较Vanilla-Fine-Tuning（VFT）、基于模式的微调（PBFT）以及参数高效微调技术（PEFT）如低秩适应

返回教程库 · 察元AI产品家族