察元AI教程库 · 仓库 · 部署

swarmllm

每个设备都承载一部分模型，它们共同运行完整模型。通过浏览器标签页实现设备间的peer-to-peer LLM推理：一个从零构建的WebGPU引擎和一个WebRTC运行时，将一个27B模型在房间内的设备间分割运行。

作者:Nehanth · 语言:en

前往原址学习

简介

每个设备都承载一部分模型，它们共同运行完整模型。通过浏览器标签页实现设备间的peer-to-peer LLM推理：一个从零构建的WebGPU引擎和一个WebRTC运行时，将一个27B模型在房间内的设备间分割运行。

返回教程库 · 察元AI产品家族