察元AI教程库 · 文章 · 微调

OWQ：基于异常感知的权重量化，用于大型语言模型的高效细调与推理

具有数十亿参数的大型语言模型（LLMs）需要强大的服务器级GPU进行推理，限制了其实际部署。为解决这一问题，我们引入了一种异常感知权重量化（OWQ）方法，旨在通过低精度实现LLM的轻量化

作者:Changhun Lee, Jungyu Jin, Taesu Kim · 语言:en

前往原址学习

简介

具有数十亿参数的大型语言模型（LLMs）需要强大的服务器级GPU进行推理，限制了其实际部署。为解决这一问题，我们引入了一种异常感知权重量化（OWQ）方法，旨在通过低精度实现LLM的轻量化

返回教程库 · 察元AI产品家族