察元AI教程库 · 文章 · 部署

迈向可持续的分布式大语言模型推理：一个关于能源、碳排放和缓存感知的llm-d控制平面的系统综合与研究议程

大语言模型（LLM）的可持续性正逐渐成为一个服务系统的问题，而不仅仅是训练问题。在实际生产中，能耗和碳足迹不仅取决于模型规模，还取决于工作负载形态、批处理、键值（KV）缓存重用、prefill/decode的部署方式、模型与加速器的选择、电力

作者:Twinkll Sisodia · 语言:en

前往原址学习

简介

大语言模型（LLM）的可持续性正逐渐成为一个服务系统的问题，而不仅仅是训练问题。在实际生产中，能耗和碳足迹不仅取决于模型规模，还取决于工作负载形态、批处理、键值（KV）缓存重用、prefill/decode的部署方式、模型与加速器的选择、电力

返回教程库 · 察元AI产品家族