察元AI教程库 · 文章 · 大模型

Transformer语言模型中的解剖学异质性

当前的变换器语言模型在各层之间采用统一的计算预算，这隐含地假设各层是同质的。我们通过实证分析SmolLM2-135M（一个30层、13500万参数的因果语言模型）来挑战这一假设，使用了五个诊断指标：

作者:Tomasz Wietrzykowski · 语言:en

前往原址学习

简介

当前的变换器语言模型在各层之间采用统一的计算预算，这隐含地假设各层是同质的。我们通过实证分析SmolLM2-135M（一个30层、13500万参数的因果语言模型）来挑战这一假设，使用了五个诊断指标：

返回教程库 · 察元AI产品家族