察元AI教程库 · 文章 · 微调

用于大型语言模型推理加速的稀疏微调

我们考虑了大型语言模型（LLM）的准确稀疏微调问题，即在特定任务上微调预训练的LLM，同时诱导其权重的稀疏性。在准确性方面，我们观察到标准基于损失的微调可能无法恢复准确性，尤其是在

作者:Eldar Kurtic, Denis Kuznedelev, Elias Frantar · 语言:en

简介