察元AI教程库 · 文章 · 大模型

随机注意力头移除：一种简单且有效的提升基于Transformer的语音识别模型的方法

近年来，基于Transformer的模型在自动语音识别（ASR）任务中表现出竞争力。其中一个关键因素是多头注意力机制。然而，对于训练好的模型，我们之前观察到，许多注意力矩阵接近对角线，

作者:Shucong Zhang, Erfan Loweimi, Peter Bell · 语言:en

前往原址学习

简介

近年来，基于Transformer的模型在自动语音识别（ASR）任务中表现出竞争力。其中一个关键因素是多头注意力机制。然而，对于训练好的模型，我们之前观察到，许多注意力矩阵接近对角线，

返回教程库 · 察元AI产品家族