察元AI教程库 · 文章 · 智能体

Agent-X：面向本地AI代理的全管道加速

基于LLM的代理在各种任务上表现卓越，但在边缘设备上存在端到端的高延迟。我们引入了Agent-X，一个纯软件、保持准确性的框架，可加速边缘设备上代理工作负载的预填充和解码阶段。Agent-X的两个关键组件重

作者:Jinha Chung, Byeongjun Shin, Jiin Kim · 语言:en

简介