察元AI教程库 · 文章 · 大模型

在Transformer模型中寻找专家

本文研究了预训练的Transformer模型（TM）中专家单元的存在及其对模型性能的影响。我们将专家单元定义为能够以给定平均精度分类概念的神经元，其中概念由一组二元句子集合表示

作者:Xavier Suau, Luca Zappella, Nicholas Apostoloff · 语言:en

前往原址学习

简介

本文研究了预训练的Transformer模型（TM）中专家单元的存在及其对模型性能的影响。我们将专家单元定义为能够以给定平均精度分类概念的神经元，其中概念由一组二元句子集合表示

返回教程库 · 察元AI产品家族