察元AI教程库 · 文章 · 部署

面向推理的压缩:识别并保护易受攻击的推理电路,实现节能的大语言模型部署

大型推理模型(LRMs)在部署过程中会产生巨大的能耗,而当前的压缩方法对所有组件进行统一量化,可能会损害关键的推理电路。我们提出了一种面向推理的压缩框架,该框架通过基准量化条件

作者:Leonard Twagirayezu, Prasenjit Mitra · 语言:en

前往原址学习

简介

大型推理模型(LRMs)在部署过程中会产生巨大的能耗,而当前的压缩方法对所有组件进行统一量化,可能会损害关键的推理电路。我们提出了一种面向推理的压缩框架,该框架通过基准量化条件

返回教程库 · 察元AI产品家族