察元AI教程库 · 文章 · 部署

MoBiQuant：基于混合比特的自适应任意精度LLM量化

动态运行时延迟和内存约束要求灵活的大型语言模型（LLM）部署，即根据可用的计算资源，以不同的量化精度进行推理。最近关于任意精度量化的研究要么依赖于硬件效率低下的

作者:Dongwei Wang, Jinhee Kim, Seokho Han · 语言:en

前往原址学习

简介

动态运行时延迟和内存约束要求灵活的大型语言模型（LLM）部署，即根据可用的计算资源，以不同的量化精度进行推理。最近关于任意精度量化的研究要么依赖于硬件效率低下的

返回教程库 · 察元AI产品家族