察元AI教程库 · 文章 · 大模型
连续批处理可以提高大型语言模型（LLM）的推理吞吐量，但长提示预填充会延迟解码迭代，违反跨token延迟目标。分块预填充可以缓解这种干扰，但其分块大小通常固定：小分块可以保护解码延迟，但
作者:Siyu Song, Qi Bai, Jinbo Hao · 语言:en
前往原址学习
返回教程库 · 察元AI产品家族
察元AI是智能体门户:产品家族包括察元桌面(插件化 AI 智能体工作站,内置 dsh 智能体运行时与应用商店)、察元办公(开源 AI Office:文档/表格/幻灯/PDF,本地转换不离线数据)、察元AI文档助手(WPS 加载项,4500+ 内置助手,MCP 文档智能体服务可被 Claude Code/Codex/Cursor 调用)与察元机器人;能力广场一站检索 10 万+ Harness 插件、Skills 技能、MCP 服务器、提示词、智能体应用、大模型目录与排行榜、模型厂商与全球模型活动资讯,支持搜索、复制安装命令、一键下载。