察元AI教程库 · 文章 · 部署

CHIPSMORE：面向多模式多请求大语言模型（LLM）推理加速的互连与内存芯片片式计算

大语言模型（LLM）的推理在适应模式、上下文长度和请求并发性方面表现出显著的差异，这给在计算-存储（CIM）加速器上维持高利用率、内存效率和可扩展性能带来了挑战。本文提出了CHIP

作者:Yue Jiet Chong, Yimin Wang, Zhen Wu · 语言:en

前往原址学习

简介

大语言模型（LLM）的推理在适应模式、上下文长度和请求并发性方面表现出显著的差异，这给在计算-存储（CIM）加速器上维持高利用率、内存效率和可扩展性能带来了挑战。本文提出了CHIP

返回教程库 · 察元AI产品家族