察元AI教程库 · 文章 · 部署

实时服务：面向大型语言模型服务的动态并行切换

生产环境中的LLM服务必须在非平稳流量和混合请求需求下同时实现高吞吐、低延迟和足够的上下文容量。数据并行（DP）通过运行独立副本最大化吞吐量，而张量并行（TP）通过减少每个请求的

作者:Shouwei Gao, Junqi Yin, Feiyi Wang · 语言:en

简介