察元AI教程库 · 文章 · 大模型

大语言模型与英语熵

我们使用大语言模型（LLMs）来揭示来自各种来源的英文文本中的长程结构。在许多情况下，条件熵或编码长度随着上下文长度的增加而持续下降，至少到N~10^4个字符，这表明存在直接依赖或交互

作者:Colin Scheibner, Lindsay M. Smith, William Bialek · 语言:en

前往原址学习

简介

我们使用大语言模型（LLMs）来揭示来自各种来源的英文文本中的长程结构。在许多情况下，条件熵或编码长度随着上下文长度的增加而持续下降，至少到N~10^4个字符，这表明存在直接依赖或交互

返回教程库 · 察元AI产品家族