察元AI教程库 · 文章 · 部署

Hydragen：基于共享前缀的高吞吐量LLM推理

基于Transformer的大语言模型（LLMs）现已部署到数亿用户。LLM推理通常在共享前缀的序列批次上进行，例如少量示例或聊天机器人系统提示。在这种大规模批次设置中，解码过程可能因注意力

作者:Jordan Juravsky, Bradley Brown, Ryan Ehrlich · 语言:en

简介