察元AI教程库 · 文章 · 大模型

TransNormerLLM：一种更快且更好的TransNormer改进大语言模型

我们提出了TransNormerLLM，这是首个基于线性注意力的大型语言模型（LLM），在准确性和效率方面均优于传统的基于softmax注意力的模型。TransNormerLLM是在先前的线性注意力架构TransNormer基础上，通过引入先进的修改而演进而来

作者:Zhen Qin, Dong Li, Weigao Sun · 语言:en

前往原址学习

简介

我们提出了TransNormerLLM，这是首个基于线性注意力的大型语言模型（LLM），在准确性和效率方面均优于传统的基于softmax注意力的模型。TransNormerLLM是在先前的线性注意力架构TransNormer基础上，通过引入先进的修改而演进而来

返回教程库 · 察元AI产品家族