察元AI教程库 · 文章 · 大模型

Transformer头的可微分子集剪枝

多头注意力，即一组独立关注输入不同部分的注意力机制，是Transformer的核心组成部分。然而，最近的研究表明，Transformer多头注意力机制中的大量头可以安全地

作者:Jiaoda Li, Ryan Cotterell, Mrinmaya Sachan · 语言:en

前往原址学习

简介

多头注意力，即一组独立关注输入不同部分的注意力机制，是Transformer的核心组成部分。然而，最近的研究表明，Transformer多头注意力机制中的大量头可以安全地

返回教程库 · 察元AI产品家族