察元AI教程库 · 文章 · 部署

边缘LLM推理中的后端调度的过渡感知机制

在边缘平台上实现高效的大型语言模型（LLM）推理不仅受限于模型大小，还受限于不同执行后端的形状依赖性性能差异。静态后端分配无法利用这种差异，而独立的每操作选择又会引入高昂的开销

作者:Alaaddin Goktug Ayar, Martin Margala · 语言:en

简介