察元AI教程库 · 文章 · 部署

GELATO：基于熵和李雅普诺夫的生成式自适应令牌卸载，用于设备-边缘推测式LLM推理

近年来，设备端大型语言模型（LLM）推理的增长推动了对设备边缘协作LLM推理的广泛关注。作为一种有前景的架构，推测解码（SD）被越来越多地采用，其中轻量级的草案模型快速生成候选令牌，以供验证

作者:Zengzipeng Tang, Yuxuan Sun, Wei Chen · 语言:en

前往原址学习

简介

近年来，设备端大型语言模型（LLM）推理的增长推动了对设备边缘协作LLM推理的广泛关注。作为一种有前景的架构，推测解码（SD）被越来越多地采用，其中轻量级的草案模型快速生成候选令牌，以供验证

返回教程库 · 察元AI产品家族