察元AI教程库 · 文章 · 多模态

多模态大语言模型的推测解码研究

多模态大语言模型（MLLMs）的推理速度较慢，因为其大语言模型骨干结构存在内存带宽瓶颈，并以自回归方式生成标记。本文探讨了将推测解码应用于提升MLLMs推理效率的可行性

作者:Mukul Gagrani, Raghavv Goel, Wonseok Jeon · 语言:en

前往原址学习

简介

多模态大语言模型（MLLMs）的推理速度较慢，因为其大语言模型骨干结构存在内存带宽瓶颈，并以自回归方式生成标记。本文探讨了将推测解码应用于提升MLLMs推理效率的可行性

返回教程库 · 察元AI产品家族