察元AI教程库 · 文章 · 微调

使用极端稀疏性进行大型语言模型的零阶细调

零阶优化（ZO）是一种通过仅进行前向传播来实现的内存高效的大型语言模型微调策略。然而，在内存受限的环境中（如手机和笔记本电脑）应用ZO微调仍然具有挑战性，因为需要进行全精度前向传播，这在实际应用中难以实现

作者:Wentao Guo, Jikai Long, Yimeng Zeng · 语言:en

简介