察元AI教程库 · 文章 · 大模型

大语言模型中token空间的结构

大型语言模型通过将话语片段（tokens）拟合到高维环境潜在空间中，来编码自然语言中存在的相关结构，然后在该空间上进行操作。我们断言，要发展一个基于第一性原理的、基础性的理解，必须

作者:Michael Robinson, Sourya Dey, Shauna Sweet · 语言:en

简介