察元AI教程库 · 文章 · 部署

早鸟捕获漏斗：揭示LLM服务系统中的时序侧信道

大语言模型（LLMs）的广泛部署催生了对其推理性能优化的强烈需求。当前的技术主要通过算法和硬件改进来降低延迟、提升吞吐量，但很大程度上忽视了

作者:Linke Song, Zixuan Pang, Wenhao Wang · 语言:en

前往原址学习

简介

大语言模型（LLMs）的广泛部署催生了对其推理性能优化的强烈需求。当前的技术主要通过算法和硬件改进来降低延迟、提升吞吐量，但很大程度上忽视了

返回教程库 · 察元AI产品家族