察元AI教程库 · 文章 · 部署

通过硬件无关的分析建模预测LLM推理性能

大语言模型（LLMs）越来越多地被部署为个人设备上的本地代理，这些设备配备CPU、NPU和集成GPU。然而，由于计算和内存需求的动态变化，对这类异构设备上的推理性能进行预测仍然具有挑战性。现有方法

作者:Rajeev Patwari, Ashish Sirasao, Devleena Das · 语言:en

前往原址学习

简介

大语言模型（LLMs）越来越多地被部署为个人设备上的本地代理，这些设备配备CPU、NPU和集成GPU。然而，由于计算和内存需求的动态变化，对这类异构设备上的推理性能进行预测仍然具有挑战性。现有方法

返回教程库 · 察元AI产品家族