察元AI教程库 · 文章 · 部署

Akashic:一种低开销的基于MemAttention的LLM推理服务

基于大语言模型(LL-MS)的智能体系统在多轮交互、工具调用和跨会话工作流中持续积累上下文。每次请求都回放完整历史记录变得不切实际:长上下文会增加预填充成本,可能超出上下文限制,并且常常会掩盖任务细节。

作者:Yang Liu, Zhaokai Luo, Huayi Jin · 语言:en

前往原址学习

简介

基于大语言模型(LL-MS)的智能体系统在多轮交互、工具调用和跨会话工作流中持续积累上下文。每次请求都回放完整历史记录变得不切实际:长上下文会增加预填充成本,可能超出上下文限制,并且常常会掩盖任务细节。

返回教程库 · 察元AI产品家族