察元AI教程库 · 文章 · 大模型
本文提出了一种高效的内存Transformer Emformer,用于低延迟的流式语音识别。在Emformer中,长程历史上下文被提炼成一个增强的记忆库,以减少自注意力的计算复杂度。一个缓存机制保存了键和值的计算
作者:Yangyang Shi, Yongqiang Wang, Chunyang Wu · 语言:en
本文提出了一种高效的内存Transformer Emformer,用于低延迟的流式语音识别。在Emformer中,长程历史上下文被提炼成一个增强的记忆库,以减少自注意力的计算复杂度。一个缓存机制保存了键和值的计算