察元AI教程库 · 文章 · 部署

无线边缘计算中LLM推理的自适应层拆分：一种基于模型的强化学习方法

在边缘计算环境中优化大语言模型（LLMs）的部署对于提升隐私和计算效率至关重要。为了实现边缘计算中无线LLM推理的高效性，本研究全面分析了主干中不同分割点的影响

作者:Yuxuan Chen, Rongpeng Li, Xiaoxue Yu · 语言:en

简介