察元AI教程库 · 文章 · 大模型

剪枝作为合作博弈：基于代理辅助的层贡献估计用于大语言模型

尽管大语言模型（LLMs）在各种任务上表现出色，但其在现实场景中的部署仍受限于高昂的计算需求。逐层剪枝（layer-wise pruning）作为一种常用的降低推理成本的策略，可以在一定程度上缓解这一挑战。

作者:Xuan Ding, Pengyu Tong, Ranjie Duan · 语言:en

前往原址学习

简介

尽管大语言模型（LLMs）在各种任务上表现出色，但其在现实场景中的部署仍受限于高昂的计算需求。逐层剪枝（layer-wise pruning）作为一种常用的降低推理成本的策略，可以在一定程度上缓解这一挑战。

返回教程库 · 察元AI产品家族