察元AI教程库 · 文章 · 部署

MOCAP：面向晶圆级芯片的基于内存协调的分块流水线框架，专用于仅预填充的大语言模型推理

大型语言模型（LLMs）越来越多地用于仅预填充的工作负载，其中端到端延迟主要由预填充阶段决定。对于长上下文预填充，通信开销随序列长度增长而增加，很快在传统GPU系统上成为瓶颈，使得晶圆级芯片

作者:Zichuan Wang, Huizheng Wang, Yuheng Xiao · 语言:en

简介