察元AI教程库 · 文章 · 部署

SDQ：用于大型语言模型推理的稀疏分解量化

最近，大型语言模型（LLMs）在特定任务和通用任务中表现出令人惊讶的性能，尤其是在给定提示的情况下。然而，为了实现前所未有的性能，最近的LLMs使用数十亿到数万亿的参数，这阻碍了这些模型的广泛适应。

作者:Geonhwa Jeong, Po-An Tsai, Stephen W. Keckler · 语言:en

前往原址学习

简介

最近，大型语言模型（LLMs）在特定任务和通用任务中表现出令人惊讶的性能，尤其是在给定提示的情况下。然而，为了实现前所未有的性能，最近的LLMs使用数十亿到数万亿的参数，这阻碍了这些模型的广泛适应。

返回教程库 · 察元AI产品家族