察元AI教程库 · 文章 · 部署

在异构机会性GPU集群上高效执行高吞吐量轻量级LLM推理应用,结合普遍性上下文管理

生成式人工智能的兴起引入了一类新的HPC工作负载,该工作负载将轻量级LLM与传统高吞吐量应用相结合,以加速科学发现。然而,当前的HPC集群设计无法有效支持这类新工作负载,导致在

作者:Thanh Son Phung, Douglas Thain · 语言:en

前往原址学习

简介

生成式人工智能的兴起引入了一类新的HPC工作负载,该工作负载将轻量级LLM与传统高吞吐量应用相结合,以加速科学发现。然而,当前的HPC集群设计无法有效支持这类新工作负载,导致在

返回教程库 · 察元AI产品家族