察元AI教程库 · 文章 · 部署

FAMPWQ：基于费歇尔信息的自适应混合精度权重量化，用于有效大语言模型（LLM）推理

近年来，大语言模型（LLM）在多个领域取得了显著成就，但其过高的资源需求阻碍了在资源受限设备上的部署。尽管模型量化是一种有效的方法，但传统量化

作者:Gongwei Lee, Ji Liu, Juncheng Jia · 语言:en

前往原址学习

简介

近年来，大语言模型（LLM）在多个领域取得了显著成就，但其过高的资源需求阻碍了在资源受限设备上的部署。尽管模型量化是一种有效的方法，但传统量化

返回教程库 · 察元AI产品家族