察元AI教程库 · 文章 · 部署

NeuroPrefetcher:一种基于增量预取的存储感知稀疏LLM推理方法

在边缘设备上部署大型语言模型正越来越受限于模型大小与可用内存之间的差距。现有的方法,如量化、使用更小的模型以及卸载,可以提高有效内存限制,但它们仍假设模型可以被压缩或

作者:Nobel Dhar, Md Romyull Islam, Xuechen Zhang · 语言:en

前往原址学习

简介

在边缘设备上部署大型语言模型正越来越受限于模型大小与可用内存之间的差距。现有的方法,如量化、使用更小的模型以及卸载,可以提高有效内存限制,但它们仍假设模型可以被压缩或

返回教程库 · 察元AI产品家族