察元AI教程库 · 文章 · 大模型
大型语言模型(LLMs)在自然语言处理(NLP)领域有广泛应用,例如GPT-4和Llama。然而,随着模型参数规模的指数增长,LLMs带来了显著的资源开销。低比特量化作为一种关键技术,可以减少内存使用,
作者:Liangdong Liu, Zhitong Zheng, Cong Wang · 语言:en
大型语言模型(LLMs)在自然语言处理(NLP)领域有广泛应用,例如GPT-4和Llama。然而,随着模型参数规模的指数增长,LLMs带来了显著的资源开销。低比特量化作为一种关键技术,可以减少内存使用,