察元AI教程库 · 文章 · 部署
模型量化将模型的参数（权重）和中间值（激活）以更紧凑的格式表示，从而直接降低硬件中的计算和内存成本。然而，对近期大语言模型（LLMs）的量化面临挑战，难以实现与现有方法相竞争的内存密度。
作者:Jianyi Cheng, Cheng Zhang, Zhewen Yu · 语言:en
模型量化将模型的参数（权重）和中间值（激活）以更紧凑的格式表示，从而直接降低硬件中的计算和内存成本。然而，对近期大语言模型（LLMs）的量化面临挑战，难以实现与现有方法相竞争的内存密度。