察元AI教程库 · 文章 · 大模型

Transformer加速器（TFA）：一种用于Transformer推理和机器翻译的宏操作INT8硬件芯片

我们提出了Transformer加速器（TFA），这是一种可综合、可参数化的INT8内存到内存引擎，用于Transformer推理。一个时复用的数据通路同时处理提示处理和自回归生成。TFA实现了矩阵乘法、softmax、RMSNorm、逐元素操作和复制/

作者:Shashank · 语言:en

前往原址学习

简介

我们提出了Transformer加速器（TFA），这是一种可综合、可参数化的INT8内存到内存引擎，用于Transformer推理。一个时复用的数据通路同时处理提示处理和自回归生成。TFA实现了矩阵乘法、softmax、RMSNorm、逐元素操作和复制/

返回教程库 · 察元AI产品家族