察元AI教程库 · 文章 · 部署

长时序大语言模型推理中的上下文重用

大语言模型（LLMs）在短上下文推理中表现出强大能力，但在长对话场景中由于上下文窗口限制和令牌使用效率低下而性能下降。我们引入了ContextForge，一个用于上下文重用的系统，能够保持与任务相关的信息

作者:Derek Thomas · 语言:en

简介