察元AI教程库 · 文章 · 大模型

高效扩展Transformer推理

我们研究了Transformer模型的高效生成推理问题，尤其是在最具挑战性的设置中：大型深层模型，具有严格的延迟要求和长序列长度。对大型基于Transformer模型的推理工程权衡有更深入的理解至关重要

作者:Reiner Pope, Sholto Douglas, Aakanksha Chowdhery · 语言:en

简介