察元AI教程库 · 文章 · 部署

面向消费设备的混合CPU-GPU LLM推理的自动张量调度

在笔记本电脑和台式机等消费者设备上运行大型语言模型（LLMs）具有挑战性，因为模型权重通常会超过GPU内存容量，因此需要将推理任务卸载到CPU内存中，以扩展有效模型容量。然而，现有的卸载系统通常依赖于细粒度

作者:Yangyijian Liu, Hongyi Ye, Mingyang Li · 语言:en

前往原址学习

简介

在笔记本电脑和台式机等消费者设备上运行大型语言模型（LLMs）具有挑战性，因为模型权重通常会超过GPU内存容量，因此需要将推理任务卸载到CPU内存中，以扩展有效模型容量。然而，现有的卸载系统通常依赖于细粒度

返回教程库 · 察元AI产品家族