察元AI教程库 · 文章 · 部署

LLMEasyQuant：面向并行与分布式LLM推理的可扩展量化

随着大型语言模型（LLMs）的规模和部署规模的扩大，量化已成为减少内存占用和提升推理效率的必要技术。然而，现有的量化工具包通常缺乏透明度、灵活性以及跨GPU的系统级可扩展性

作者:Dong Liu, Yanxuan Yu · 语言:en

前往原址学习

简介

随着大型语言模型（LLMs）的规模和部署规模的扩大，量化已成为减少内存占用和提升推理效率的必要技术。然而，现有的量化工具包通常缺乏透明度、灵活性以及跨GPU的系统级可扩展性

返回教程库 · 察元AI产品家族