察元AI教程库 · 文章 · 部署
本文研究了紧凑型大型语言模型（LLM）部署以及世界模型辅助的推理卸载在移动边缘计算（MEC）网络中的应用。我们首先提出了一种边缘紧凑型LLM部署（ECLD）框架，该框架联合应用了结构化剪枝、低比特量化和知识迁移等技术。
作者:Ruichen Zhang, Xiaofeng Luo, Jiayi He · 语言:en
本文研究了紧凑型大型语言模型（LLM）部署以及世界模型辅助的推理卸载在移动边缘计算（MEC）网络中的应用。我们首先提出了一种边缘紧凑型LLM部署（ECLD）框架，该框架联合应用了结构化剪枝、低比特量化和知识迁移等技术。