察元AI教程库 · 文章 · 大模型

参数高效的Transformer嵌入

基于Transformer的NLP模型中的嵌入层通常占模型参数的最大比例，其规模随词汇量增长，但性能提升却不成比例。我们提出了一种替代方法，即首先以确定性方式生成token嵌入向量

作者:Henry Ndubuaku, Mouad Talhi · 语言:en

前往原址学习

简介

基于Transformer的NLP模型中的嵌入层通常占模型参数的最大比例，其规模随词汇量增长，但性能提升却不成比例。我们提出了一种替代方法，即首先以确定性方式生成token嵌入向量

返回教程库 · 察元AI产品家族