察元AI教程库 · 文章 · 部署

LLM-CoOpt:一种面向异构平台的LLM推理协同设计与优化框架

LLM推理中仍存在主要挑战,包括频繁的内存带宽瓶颈、计算冗余以及长序列处理的低效性。为解决这些问题,我们提出了LLM-CoOpt,一个综合的算法-硬件协同设计框架,旨在提升吞吐量和延迟

作者:Jie Kong, Wei Wang, Jiehan Zhou · 语言:en

前往原址学习

简介

LLM推理中仍存在主要挑战,包括频繁的内存带宽瓶颈、计算冗余以及长序列处理的低效性。为解决这些问题,我们提出了LLM-CoOpt,一个综合的算法-硬件协同设计框架,旨在提升吞吐量和延迟

返回教程库 · 察元AI产品家族