察元AI教程库 · 仓库 · 部署

JetStream

JetStream 是一个针对XLA设备(从TPU开始,未来也支持GPU,欢迎提交PR)的高吞吐、低内存消耗的LLM推理引擎

作者:AI-Hypercomputer · 语言:en

前往原址学习

简介

JetStream 是一个针对XLA设备(从TPU开始,未来也支持GPU,欢迎提交PR)的高吞吐、低内存消耗的LLM推理引擎

返回教程库 · 察元AI产品家族