察元AI教程库 · 文章 · 部署

FLRC：细粒度低秩压缩器，用于高效LLM推理

尽管大型语言模型（LLM）已经取得了显著的性能提升，但其庞大的参数数量阻碍了在资源受限的硬件上的部署。低秩压缩可以减少内存使用和计算需求，但对所有层应用统一的压缩比率通常

作者:Yu-Chen Lu, Chong-Yan Chen, Chi-Chih Chang · 语言:en

简介