察元AI教程库 · 文章 · 部署

面向边缘集群的可持续意识大语言模型（LLM）推理

大型语言模型（LLMs）需要大量计算资源，导致显著的碳排放和运营成本。尽管训练过程耗能巨大，但长期的环境负担来自推理，且因全球查询量巨大而被放大。基于云的推理

作者:Kolichala Rajashekar, Nafiseh Sharghivand, Radu Prodan · 语言:en

前往原址学习

简介

大型语言模型（LLMs）需要大量计算资源，导致显著的碳排放和运营成本。尽管训练过程耗能巨大，但长期的环境负担来自推理，且因全球查询量巨大而被放大。基于云的推理

返回教程库 · 察元AI产品家族