察元AI教程库 · 文章 · 多模态

为多模态大语言模型重新设想推测解码

本文引入了多模态推测解码（MSD）来加速多模态大语言模型（MLLMs）的推理。推测解码已被证明可以加速大语言模型（LLMs）推理，且不牺牲准确性。然而，当前针对MLLMs的推测解码方法未能

作者:Luxi Lin, Zhihang Lin, Zhanpeng Zeng · 语言:en

前往原址学习

简介

本文引入了多模态推测解码（MSD）来加速多模态大语言模型（MLLMs）的推理。推测解码已被证明可以加速大语言模型（LLMs）推理，且不牺牲准确性。然而，当前针对MLLMs的推测解码方法未能

返回教程库 · 察元AI产品家族