察元AI教程库 · 文章 · 部署

在异构边缘网络上通过投机解码实现高效的LLM推理

在网边进行大型语言模型（LLM）推理是一种有前景的推理范式，它利用分布式的边缘资源在用户附近进行推理，从而增强隐私。现有的基于边缘的LLM推理系统通常采用自回归解码（AD），该方法仅生成一个token

作者:Bingjie Zhu, Zhixiong Chen, Liqiang Zhao · 语言:en

前往原址学习

简介

在网边进行大型语言模型（LLM）推理是一种有前景的推理范式，它利用分布式的边缘资源在用户附近进行推理，从而增强隐私。现有的基于边缘的LLM推理系统通常采用自回归解码（AD），该方法仅生成一个token

返回教程库 · 察元AI产品家族