察元AI教程库 · 文章 · 部署

FlashAccel：利用高带宽闪存（HBF）实现高吞吐量LLM推理

大语言模型（LLM）推理越来越受到高带宽内存（HBM）在GPU中容量的限制，因为模型权重和KV缓存迅速增长。高带宽闪存（HBF）提供了比HBM更高的容量，同时提供可比的带宽，使其成为容量的有希望的基底

作者:Xinyu Wang, Yalong Xue, Xiaotian Sun · 语言:en

前往原址学习

简介

大语言模型（LLM）推理越来越受到高带宽内存（HBM）在GPU中容量的限制，因为模型权重和KV缓存迅速增长。高带宽闪存（HBF）提供了比HBM更高的容量，同时提供可比的带宽，使其成为容量的有希望的基底

返回教程库 · 察元AI产品家族