察元AI教程库 · 文章 · 部署

AccKV:通过自适应聚焦与交叉校准的KV缓存优化,实现高效音频-视频LLM推理

近年来,音频-视频大型语言模型(AV-LLMs)在音频-视觉问答和多模态对话系统等任务中的能力得到了显著提升。视频和音频引入了扩展的时间维度,导致其键值(KV)缓存比静态图像更大

作者:Zhonghua Jiang, Kui Chen, Kunxi Li · 语言:en

前往原址学习

简介

近年来,音频-视频大型语言模型(AV-LLMs)在音频-视觉问答和多模态对话系统等任务中的能力得到了显著提升。视频和音频引入了扩展的时间维度,导致其键值(KV)缓存比静态图像更大

返回教程库 · 察元AI产品家族