察元AI教程库 · 文章 · 微调

语言模型中的推理阈值探索：通过注意力图进行扩展、微调与可解释性分析

本研究探讨了不同规模和训练数据的仅解码器Transformer语言模型的上下文学习能力，包括GPT2、SmolLM2、OpenELM、TinyLlama、Stable LM和Gemma 2。我们识别出一个关键的参数阈值（约16亿），超过

作者:Yen-Che Hsiao, Abhishek Dutta · 语言:en

前往原址学习

简介

本研究探讨了不同规模和训练数据的仅解码器Transformer语言模型的上下文学习能力，包括GPT2、SmolLM2、OpenELM、TinyLlama、Stable LM和Gemma 2。我们识别出一个关键的参数阈值（约16亿），超过

返回教程库 · 察元AI产品家族