察元AI教程库 · 文章 · 大模型

在小数据集上使用专家混合方法提升Transformer在法语临床笔记分类中的表现

基于Transformer的模型在自然语言处理中表现出色，但在小规模临床文本分类等应用中面临挑战，尤其是在计算资源受限的情况下。本研究提出了针对小规模临床文本分类的定制化Mixture of Experts（MoE）Transformer模型

作者:Thanh-Dung Le, Philippe Jouvet, Rita Noumeir · 语言:en

简介