察元AI教程库 · 文章 · 排行榜

SGPA:基于声谱引导的语音对齐,用于多模态大语言模型的可行谢夫值解释

通过Shapley值归因来解释端到端的音频语言模型行为在原生分词下是不可行的:一个典型的语句会产生超过150个编码帧,相对于文本而言,联盟空间膨胀了约10^42倍;单个音频帧缺乏独立意义。

作者:Paweł Pozorski, Jakub Muszyński, Maria Ganzha · 语言:en

前往原址学习

简介

通过Shapley值归因来解释端到端的音频语言模型行为在原生分词下是不可行的:一个典型的语句会产生超过150个编码帧,相对于文本而言,联盟空间膨胀了约10^42倍;单个音频帧缺乏独立意义。

返回教程库 · 察元AI产品家族