察元AI教程库 · 文章 · 部署

Compass：面向异构多芯片加速器的映射与硬件协同探索，用于LLM推理服务工作负载

大语言模型（LLM）带来了巨大的计算需求，这使得能够整合大规模计算资源的多芯片加速器成为一种强大解决方案。然而，现有这类加速器的设计空间探索（DSE）主要集中在传统的CNN/Transformer

作者:Boyu Li, Zongwei Zhu, Qianyue Cao · 语言:en

前往原址学习

简介

大语言模型（LLM）带来了巨大的计算需求，这使得能够整合大规模计算资源的多芯片加速器成为一种强大解决方案。然而，现有这类加速器的设计空间探索（DSE）主要集中在传统的CNN/Transformer

返回教程库 · 察元AI产品家族