察元AI教程库 · 文章 · 大模型

Supernova：在Transformer架构中实现“少而多”的效果

我们提出了Supernova，一个6.5亿参数的解码器-only Transformer，展示了如何通过精心的架构设计和标记创新，在保持计算效率的同时实现大型模型的性能。我们的架构结合了旋转位置嵌入（RoPE）、分组

作者:Andrei-Valentin Tanase, Elena Pelican · 语言:en

前往原址学习

简介

我们提出了Supernova，一个6.5亿参数的解码器-only Transformer，展示了如何通过精心的架构设计和标记创新，在保持计算效率的同时实现大型模型的性能。我们的架构结合了旋转位置嵌入（RoPE）、分组

返回教程库 · 察元AI产品家族