察元AI教程库 · 文章 · 大模型

量化大语言模型的评估

后训练量化（PTQ）已成为降低大型语言模型（LLMs）成本的有前景的技术。具体而言，PTQ能有效降低内存消耗，并减少LLMs的计算开销。为了满足高效性和跨领域高性能的需求

作者:Shiyao Li, Xuefei Ning, Luning Wang · 语言:en

前往原址学习

简介

后训练量化（PTQ）已成为降低大型语言模型（LLMs）成本的有前景的技术。具体而言，PTQ能有效降低内存消耗，并减少LLMs的计算开销。为了满足高效性和跨领域高性能的需求

返回教程库 · 察元AI产品家族