察元AI教程库 · 文章 · 微调

缓解语言模型低精度微调中的异常激活问题

语言模型的低精度微调作为一种成本效益高且节能的部署大规模模型的方法，近年来备受关注。然而，这种方法容易受到激活值中异常值的影响。激活值中的异常值

作者:Alireza Ghaffari, Justin Yu, Mahsa Ghazvini Nejad · 语言:en

前往原址学习

简介

语言模型的低精度微调作为一种成本效益高且节能的部署大规模模型的方法，近年来备受关注。然而，这种方法容易受到激活值中异常值的影响。激活值中的异常值

返回教程库 · 察元AI产品家族