察元AI教程库 · 文章 · 部署

基于Tensix架构的LLM推理中的操作融合

本研究针对Tenstorrent Tensix架构上Transformer模型的设备端推理瓶颈，提出了一种操作融合策略，以增强数据局部性。RMSNorm与自注意力和前馈网络中的矩阵乘法融合，实现了内存操作的连续执行

作者:Qingbo Wu, Ke Li, Wenzhu Wang · 语言:en

前往原址学习

简介

本研究针对Tenstorrent Tensix架构上Transformer模型的设备端推理瓶颈，提出了一种操作融合策略，以增强数据局部性。RMSNorm与自注意力和前馈网络中的矩阵乘法融合，实现了内存操作的连续执行

返回教程库 · 察元AI产品家族