察元AI教程库 · 文章 · 大模型

大型语言模型中的熵

在本研究中，大语言模型（LLM）的输出被视为一个信息源，生成从有限字母表中抽取的无限符号序列。鉴于现代LLMs的随机性质，我们假设这些LLMs遵循一个恒定的随机分布模型，遵循一个常数随机分布

作者:Marco Scharringhausen · 语言:en

前往原址学习

简介

在本研究中，大语言模型（LLM）的输出被视为一个信息源，生成从有限字母表中抽取的无限符号序列。鉴于现代LLMs的随机性质，我们假设这些LLMs遵循一个恒定的随机分布模型，遵循一个常数随机分布

返回教程库 · 察元AI产品家族