察元AI教程库 · 文章 · 部署

效率理解：大型语言模型能效中的量化、批处理与服务策略

大语言模型（LLMs）正越来越多地部署到生产环境中，这使得计算资源和能耗负担从训练阶段转移到推理阶段。尽管先前的研究探讨了每个提示或每个token的推理能耗，但我们强调了\emph

作者:Julien Delavande, Regis Pierrard, Sasha Luccioni · 语言:en

前往原址学习

简介

大语言模型（LLMs）正越来越多地部署到生产环境中，这使得计算资源和能耗负担从训练阶段转移到推理阶段。尽管先前的研究探讨了每个提示或每个token的推理能耗，但我们强调了\emph

返回教程库 · 察元AI产品家族