察元AI教程库 · 文章 · 部署

BatchLLM：通过全局前缀共享和面向吞吐量的标记批处理优化大批次LLM推理

大语言模型（LLMs）在工业信息处理和管理任务中扮演着越来越重要的角色。许多这些任务以大规模批次或离线方式执行，其性能指标是吞吐量。这些任务通常表现出以下特征

作者:Zhen Zheng, Xin Ji, Taosong Fang · 语言:en

前往原址学习

简介

大语言模型（LLMs）在工业信息处理和管理任务中扮演着越来越重要的角色。许多这些任务以大规模批次或离线方式执行，其性能指标是吞吐量。这些任务通常表现出以下特征

返回教程库 · 察元AI产品家族