察元AI教程库 · 文章 · 部署

MCAP：面向内存受限的LLM推理的部署时层剖析

在异构硬件上部署大型语言模型通常受限于内存，而非计算能力。我们引入了MCAP（蒙特卡洛激活剖析），一种在加载时对每一层重要性进行估算的工具，能够动态决定目标设备上的精度和内存布局。MCAP生成

作者:Anurita Das · 语言:en

简介