察元AI教程库 · 文章 · 部署

EnergyLens：用于多模态LLM推理服务的可解释闭式能量模型

大型语言模型涵盖了密集、专家混合和状态空间架构，并在异构加速器上部署于日益多样化的多模态工作负载下，优化推理能耗已与优化延迟和吞吐量同样关键。现有方法要么

作者:Vittorio Palladino, Gianluca Palermo, Michael E. Papka · 语言:en

前往原址学习

简介

大型语言模型涵盖了密集、专家混合和状态空间架构，并在异构加速器上部署于日益多样化的多模态工作负载下，优化推理能耗已与优化延迟和吞吐量同样关键。现有方法要么

返回教程库 · 察元AI产品家族