察元AI教程库 · 文章 · 部署

编译器辅助的推测采样：用于异构边缘设备上加速LLM推理

在资源受限的边缘设备上部署大语言模型（LLMs）面临严重的延迟限制，特别是在实时应用中，延迟响应可能会影响安全或可用性。在许多缓解序列化逐token生成效率低下的方法中，推测解码

作者:Alejandro Ruiz y Mesa, Guilherme Korol, Moritz Riesterer · 语言:en

前往原址学习

简介

在资源受限的边缘设备上部署大语言模型（LLMs）面临严重的延迟限制，特别是在实时应用中，延迟响应可能会影响安全或可用性。在许多缓解序列化逐token生成效率低下的方法中，推测解码

返回教程库 · 察元AI产品家族