察元AI教程库 · 文章 · 大模型

在低资源场景下使用MAMBA-Transformer混合进行高效提取式摘要

长文档的提取式摘要受到二次复杂度的限制,通常迫使截断,从而限制了在资源受限环境下的部署。我们引入了首个Mamba-Transformer混合架构用于提取式摘要,结合了预训练变换器的语义优势

作者:Nisrine Ait Khayi · 语言:en

前往原址学习

简介

长文档的提取式摘要受到二次复杂度的限制,通常迫使截断,从而限制了在资源受限环境下的部署。我们引入了首个Mamba-Transformer混合架构用于提取式摘要,结合了预训练变换器的语义优势

返回教程库 · 察元AI产品家族