察元AI教程库 · 文章 · 部署

面向可持续的大语言模型服务

在本研究中，我们从碳排放角度研究LLMs，涵盖操作和嵌入式排放，并为可持续的LLM服务开辟道路。我们使用两种NVIDIA GPU型号，对1B、3B和7B参数的LLaMA模型的性能和能耗进行了分析，包括最新的RTX60

作者:Sophia Nguyen, Beihao Zhou, Yi Ding · 语言:en

前往原址学习

简介

在本研究中，我们从碳排放角度研究LLMs，涵盖操作和嵌入式排放，并为可持续的LLM服务开辟道路。我们使用两种NVIDIA GPU型号，对1B、3B和7B参数的LLaMA模型的性能和能耗进行了分析，包括最新的RTX60

返回教程库 · 察元AI产品家族