察元AI教程库 · 文章 · 大模型

FlashDecoding++:基于GPU的更快大语言模型推理

随着大型语言模型(LLM)在各个领域的日益重要,但加速LLM推理仍面临未解决的挑战:(1)同步的分段softmax更新。softmax操作需要每个分段softmax在更新时同步进行

作者:Ke Hong, Guohao Dai, Jiaming Xu · 语言:en

前往原址学习

简介

随着大型语言模型(LLM)在各个领域的日益重要,但加速LLM推理仍面临未解决的挑战:(1)同步的分段softmax更新。softmax操作需要每个分段softmax在更新时同步进行

返回教程库 · 察元AI产品家族