察元AI教程库 · 文章 · 排行榜

从分布视角扩展大型语言模型的上下文窗口

扩展旋转位置嵌入（RoPE）已成为扩展基于RoPE的大语言模型（LLMs）上下文窗口的常用方法。然而，现有扩展方法通常依赖于经验方法，缺乏对RoPE内部分布的深刻理解，导致

作者:Yingsheng Wu, Yuxuan Gu, Xiaocheng Feng · 语言:en

前往原址学习

简介

扩展旋转位置嵌入（RoPE）已成为扩展基于RoPE的大语言模型（LLMs）上下文窗口的常用方法。然而，现有扩展方法通常依赖于经验方法，缺乏对RoPE内部分布的深刻理解，导致

返回教程库 · 察元AI产品家族