察元AI教程库 · 文章 · 大模型

动态主题演化与时间衰减及注意力机制在大型语言模型中的应用

本文提出了一种基于时间大型语言模型的动态主题演进建模框架。该方法首先利用大型语言模型获取文本的上下文嵌入，然后引入时间衰减函数和注意力机制。这些组件使得模型能够

作者:Di Wu, Shuaidong Pan · 语言:en

简介