察元AI教程库 · 文章 · 微调
参数高效的微调（PEFT）对于在资源受限的情况下定制大语言模型（LLMs）至关重要。尽管已有多种针对密集架构LLMs的PEFT方法，但针对稀疏架构LLMs的PEFT研究仍处于探索阶段。本文研究了针对稀疏架构LLMs的PEFT方法。
作者:Zihan Wang, Deli Chen, Damai Dai · 语言:en
参数高效的微调（PEFT）对于在资源受限的情况下定制大语言模型（LLMs）至关重要。尽管已有多种针对密集架构LLMs的PEFT方法，但针对稀疏架构LLMs的PEFT研究仍处于探索阶段。本文研究了针对稀疏架构LLMs的PEFT方法。