察元AI教程库 · 文章 · 大模型
我们介绍了LongSkywork，一种能够处理高达20万tokens的长上下文大型语言模型（LLM），我们提供了一种高效的扩展LLM上下文长度的训练方案。我们发现，提升长上下文处理能力的关键在于引入一个长
作者:Liang Zhao, Tianwen Wei, Liang Zeng · 语言:en
我们介绍了LongSkywork，一种能够处理高达20万tokens的长上下文大型语言模型（LLM），我们提供了一种高效的扩展LLM上下文长度的训练方案。我们发现，提升长上下文处理能力的关键在于引入一个长