察元AI教程库 · 文章 · 微调

LongLoRA：高效长上下文大语言模型微调

我们提出了LongLoRA，这是一种高效的微调方法，能够在计算成本有限的情况下扩展预训练大型语言模型（LLMs）的上下文长度。通常，使用长上下文长度训练LLMs在计算上是昂贵的，需要大量训练小时和GPU资源。对于

作者:Yukang Chen, Shengju Qian, Haotian Tang · 语言:en

前往原址学习

简介

我们提出了LongLoRA，这是一种高效的微调方法，能够在计算成本有限的情况下扩展预训练大型语言模型（LLMs）的上下文长度。通常，使用长上下文长度训练LLMs在计算上是昂贵的，需要大量训练小时和GPU资源。对于

返回教程库 · 察元AI产品家族