察元AI教程库 · 文章 · 部署

LLMCO2:提升大语言模型推理的准确碳足迹预测

在生命周期中,大型语言模型(LLM)的推理阶段产生的碳足迹远大于训练阶段。LLM推理请求的批大小、提示长度和生成token数量各异,而云服务商采用不同类型的GPU和数量来满足多样化需求。

作者:Zhenxiao Fu, Fan Chen, Shan Zhou · 语言:en

前往原址学习

简介

在生命周期中,大型语言模型(LLM)的推理阶段产生的碳足迹远大于训练阶段。LLM推理请求的批大小、提示长度和生成token数量各异,而云服务商采用不同类型的GPU和数量来满足多样化需求。

返回教程库 · 察元AI产品家族