察元AI教程库 · 文章 · 部署

KernelSight-LM：一个基于内核的大语言模型推理仿真器

随着大型语言模型（LLMs）进入生产服务，从业者必须快速评估不同硬件、模型和推理参数下的推理性能，以满足成本和延迟目标。然而，LLM的端到端行为耦合了服务层策略与底层GPU

作者:Xiteng Yao, Taeho Kim, Hengzhi Pei · 语言:en

前往原址学习

简介

随着大型语言模型（LLMs）进入生产服务，从业者必须快速评估不同硬件、模型和推理参数下的推理性能，以满足成本和延迟目标。然而，LLM的端到端行为耦合了服务层策略与底层GPU

返回教程库 · 察元AI产品家族