察元AI教程库 · 文章 · 部署

HPU：一种高带宽处理单元，通过GPU协处理实现可扩展、低成本的LLM推理

注意力层是基于Transformer的LLM的核心组成部分，由于其操作强度低和KV缓存的大量内存需求，导致当前GPU系统效率低下。我们提出了一种高带宽处理单元（HPU），一种内存密集型的协处理器，能够增强

作者:Myunghyun Rhee, Joonseop Sim, Taeyoung Ahn · 语言:en

简介