察元AI教程库 · 文章 · 大模型
我们提出了一种训练准确的Transformer机器翻译模型的方法，使其能够使用8位整数（INT8）硬件矩阵乘法器进行推理，而不是更昂贵的单精度浮点（FP32）硬件。与以往工作不同，我们没有仅将85个Transformer矩阵乘法器转换为8位整数，而是
作者:Ephrem Wu · 语言:en
我们提出了一种训练准确的Transformer机器翻译模型的方法，使其能够使用8位整数（INT8）硬件矩阵乘法器进行推理，而不是更昂贵的单精度浮点（FP32）硬件。与以往工作不同，我们没有仅将85个Transformer矩阵乘法器转换为8位整数，而是