察元AI教程库 · 文章 · 部署

TELLER：面向LLM推理的非侵入式跨层根因分析

大型语言模型（LLM）推理已经从一个离线工作负载演变为一个持续运行的软件服务，但根本原因分析仍然困难，因为单个请求会跨越推理引擎、Python/C++后端、主机CUDA API、GPU内核以及分布式通信。现有

作者:Ruilin Xu, Junyi Li, Pengfei Chen · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理已经从一个离线工作负载演变为一个持续运行的软件服务，但根本原因分析仍然困难，因为单个请求会跨越推理引擎、Python/C++后端、主机CUDA API、GPU内核以及分布式通信。现有

返回教程库 · 察元AI产品家族