察元AI教程库 · 文章 · 部署

Concordia：基于JIT编译的持久内核检查点，用于容错大语言模型（LLM）推理

长时间运行的大语言模型（LLM）智能体在GPU上保留了重要状态：键值缓存（KV caches）、请求调度器、通信状态，有时还包括在线适配器。当GPU或通信器发生故障后，丢失这些状态可能导致数分钟到数小时的工作被丢弃，而现有的恢复机制要么重启整个服务

作者:Yuhang Gan, Yiwei Yang, Yuyi Li · 语言:en

前往原址学习

简介

长时间运行的大语言模型（LLM）智能体在GPU上保留了重要状态：键值缓存（KV caches）、请求调度器、通信状态，有时还包括在线适配器。当GPU或通信器发生故障后，丢失这些状态可能导致数分钟到数小时的工作被丢弃，而现有的恢复机制要么重启整个服务

返回教程库 · 察元AI产品家族