察元AI教程库 · 文章 · 部署

NEO：通过CPU卸载缓解GPU内存危机，实现在线LLM推理

在线LLM推理推动了许多激动人心的应用，如智能聊天机器人和自主代理。现代LLM推理引擎广泛依赖请求批处理来提高推理吞吐量，以在昂贵的GPU加速器上实现成本效益。然而，受限的G

作者:Xuanlin Jiang, Yang Zhou, Shiyi Cao · 语言:en

简介