察元AI教程库 · 文章 · 部署

Hydra：面向边缘SoC代际、后端和量化级别的LLM推理工作负载的相位感知特征分析

边缘LLM部署不仅受模型大小和精度影响，还受到推理后端、硬件平台、内存流量和电源管理的影响，这些因素均影响延迟和效率。我们提出了Hydra，一个面向边缘SoC的LLM推理的通用模式、阶段感知的工作负载表征框架。Hydra

作者:Amir Taherin, Sana Taghipour Anvari, Charles Amante · 语言:en

简介