察元AI教程库 · 文章 · 部署

WaferLLM:在晶圆规模上进行大语言模型推理

新兴的AI加速器越来越多地采用晶圆级制造技术,集成数以万计的AI核心,采用网格架构,配备大规模的片上分布式内存(总计数十GB)和超高的片上内存带宽(达数十PB/s)。然而,当前的LLM推理

作者:Congjie He, Yeqi Huang, Pei Mu · 语言:en

前往原址学习

简介

新兴的AI加速器越来越多地采用晶圆级制造技术,集成数以万计的AI核心,采用网格架构,配备大规模的片上分布式内存(总计数十GB)和超高的片上内存带宽(达数十PB/s)。然而,当前的LLM推理

返回教程库 · 察元AI产品家族