察元AI教程库 · 文章 · 部署

MixPE：通过量化与硬件协同设计实现高效的大型语言模型推理

基于Transformer的大型语言模型（LLMs）随着模型规模的扩大取得了显著成功，但其部署仍面临巨大的计算和内存需求。量化技术已成为一种有前景的解决方案，而最先进的量化算法

作者:Yu Zhang, Mingzi Wang, Lancheng Zou · 语言:en

前往原址学习

简介

基于Transformer的大型语言模型（LLMs）随着模型规模的扩大取得了显著成功，但其部署仍面临巨大的计算和内存需求。量化技术已成为一种有前景的解决方案，而最先进的量化算法

返回教程库 · 察元AI产品家族