察元AI教程库 · 文章 · 部署

Opt4GPTQ: 面向异构平台的4比特GPTQ量化LLM推理的内存与计算联合优化

在异构计算平台上越来越多地采用大型语言模型(LLMs)给实现高效推理带来了重大挑战。为解决不同平台上的效率瓶颈,本文提出了一种实用的优化方法Opt4GPTQ,该方法专为

作者:Yaozheng Zhang, Wei Wang, Jie Kong · 语言:en

前往原址学习

简介

在异构计算平台上越来越多地采用大型语言模型(LLMs)给实现高效推理带来了重大挑战。为解决不同平台上的效率瓶颈,本文提出了一种实用的优化方法Opt4GPTQ,该方法专为

返回教程库 · 察元AI产品家族