察元AI教程库 · 文章 · 大模型

可信Transformer：一种用于量化和缓解大语言模型幻觉的系统性方法

大型语言模型（LLMs）会产生幻觉，即生成事实错误但又充满信心的陈述。我们认为，这源于Transformer的Softmax函数，该函数通过将模糊的注意力得分合并为单一概率分布，产生“人工确定性”，从而丢弃了不确定性。

作者:Shihao Ji, Zihui Song, Jiajie Huang · 语言:en

前往原址学习

简介

大型语言模型（LLMs）会产生幻觉，即生成事实错误但又充满信心的陈述。我们认为，这源于Transformer的Softmax函数，该函数通过将模糊的注意力得分合并为单一概率分布，产生“人工确定性”，从而丢弃了不确定性。

返回教程库 · 察元AI产品家族