察元AI教程库 · 文章 · 大模型

自回归Transformer计算的概率分布

大多数关于Transformer可表达性的研究将其视为语言识别器——接受或拒绝字符串的设备，而不是它们实际被使用的状态：作为能够自回归、概率生成字符串的语言模型。我们刻画了这些概率分布

作者:Andy Yang, Anej Svete, Jiaoda Li · 语言:en

前往原址学习

简介

大多数关于Transformer可表达性的研究将其视为语言识别器——接受或拒绝字符串的设备，而不是它们实际被使用的状态：作为能够自回归、概率生成字符串的语言模型。我们刻画了这些概率分布

返回教程库 · 察元AI产品家族