察元AI教程库 · 文章 · 微调

AdaZeta:基于自适应零阶张量-链适应的内存高效大型语言模型微调

大语言模型(LLMs)的微调在各种自然语言处理任务中取得了显著性能提升,但随着模型规模的增长,其内存需求也持续增加。为解决此问题,最近提出的内存高效零阶(MeZO)方法尝试进行

作者:Yifan Yang, Kai Zhen, Ershad Banijamal · 语言:en

前往原址学习

简介

大语言模型(LLMs)的微调在各种自然语言处理任务中取得了显著性能提升,但随着模型规模的增长,其内存需求也持续增加。为解决此问题,最近提出的内存高效零阶(MeZO)方法尝试进行

返回教程库 · 察元AI产品家族