察元AI教程库 · 文章 · 微调

HiFT：一种层次化的全参数微调策略

全参数微调已成为适应语言模型（LMs）到下游任务的首选方法，因其表现出优异的性能。随着LMs规模的增大，微调LMs的全参数需要极其庞大的GPU内存。现有方法利用零阶操作

作者:Yongkang Liu, Yiqun Zhang, Qian Li · 语言:en

前往原址学习

简介

全参数微调已成为适应语言模型（LMs）到下游任务的首选方法，因其表现出优异的性能。随着LMs规模的增大，微调LMs的全参数需要极其庞大的GPU内存。现有方法利用零阶操作

返回教程库 · 察元AI产品家族