察元AI教程库 · 文章 · 大模型

基于Transformer的端到端语音识别结合局部密集合成注意力

最近，一些研究报道，点积自注意力（SA）可能不是最先进的Transformer模型中不可或缺的。受密集合成注意力（DSA）的启发，DSA摒弃了点积和成对交互，却在许多语言任务中取得了有竞争力的结果

作者:Menglong Xu, Shengqiang Li, Xiao-Lei Zhang · 语言:en

前往原址学习

简介

最近，一些研究报道，点积自注意力（SA）可能不是最先进的Transformer模型中不可或缺的。受密集合成注意力（DSA）的启发，DSA摒弃了点积和成对交互，却在许多语言任务中取得了有竞争力的结果

返回教程库 · 察元AI产品家族