察元AI教程库 · 文章 · 部署

FlowSpec:一种用于高效分布式LLM推理的连续流水线推测解码

分布式推理是一种在边缘网络上实现大语言模型(LLMs)推理的有前景方法。它将推理过程分布到多个设备上,以确保LLM能够适应设备内存。近年来的流水线方法具有潜力,但仍然面临诸多挑战

作者:Xing Liu, Lizhuo Luo, Ming Tang · 语言:en

前往原址学习

简介

分布式推理是一种在边缘网络上实现大语言模型(LLMs)推理的有前景方法。它将推理过程分布到多个设备上,以确保LLM能够适应设备内存。近年来的流水线方法具有潜力,但仍然面临诸多挑战

返回教程库 · 察元AI产品家族