察元AI教程库 · 文章 · 部署

SPEED：用于高效解码的推测流水线执行

基于Transformer架构的生成式大型语言模型（LLMs）近年来已成为多种自然语言处理任务的主流基础模型。然而，由于显著的推理开销，它们在实时场景中的应用一直受到限制。

作者:Coleman Hooper, Sehoon Kim, Hiva Mohammadzadeh · 语言:en

前往原址学习

简介

基于Transformer架构的生成式大型语言模型（LLMs）近年来已成为多种自然语言处理任务的主流基础模型。然而，由于显著的推理开销，它们在实时场景中的应用一直受到限制。

返回教程库 · 察元AI产品家族