察元AI教程库 · 文章 · 部署

Amoeba：面向LLM推理服务的运行时张量并行变换

在大型语言模型（LLM）推理服务中，难以高效处理不同上下文长度的请求。长上下文请求需要高度并行以提供更多的键值（KV）缓存内存，而短上下文请求则需要更少的并行度。

作者:Haoyu Chen, Xue Li, Kun Qian · 语言:en

前往原址学习

简介

在大型语言模型（LLM）推理服务中，难以高效处理不同上下文长度的请求。长上下文请求需要高度并行以提供更多的键值（KV）缓存内存，而短上下文请求则需要更少的并行度。

返回教程库 · 察元AI产品家族