察元AI教程库 · 文章 · 大模型

LaCo：基于层坍缩的大语言模型剪枝

基于Transformer的大型语言模型（LLMs）正经历显著的规模扩展趋势，这给模型训练和推理带来了巨大的成本。然而，现有的方法如模型量化、知识蒸馏和模型剪枝存在各种限制，

作者:Yifei Yang, Zouying Cao, Hai Zhao · 语言:en

前往原址学习

简介

基于Transformer的大型语言模型（LLMs）正经历显著的规模扩展趋势，这给模型训练和推理带来了巨大的成本。然而，现有的方法如模型量化、知识蒸馏和模型剪枝存在各种限制，

返回教程库 · 察元AI产品家族