察元AI教程库 · 文章 · 知识库

量化对检索增强生成的影响：对小规模LLM的分析

训练后量化降低了大型语言模型（LLMs）的计算需求，但可能削弱其部分能力。由于LLM能力随规模增长而增强，较小的LLM对量化更敏感。本文探讨了量化如何影响小规模LLM的性能

作者:Mert Yazan, Suzan Verberne, Frederik Situmeang · 语言:en

简介