察元AI教程库 · 文章 · 部署

LIMINAL：探索LLM解码性能的前沿

大型语言模型（LLMs）的快速发展要求我们深入理解其基本性能极限。本文研究了LLM推理的极限，重点关注自回归解码中的硬件瓶颈。我们开发了LIMINAL，一个分析性能模型

作者:Michael Davies, Neal Crago, Karthikeyan Sankaralingam · 语言:en

前往原址学习

简介

大型语言模型（LLMs）的快速发展要求我们深入理解其基本性能极限。本文研究了LLM推理的极限，重点关注自回归解码中的硬件瓶颈。我们开发了LIMINAL，一个分析性能模型

返回教程库 · 察元AI产品家族