察元AI教程库 · 文章 · 部署

LinguaLinked：面向移动设备的分布式大型语言模型推理系统

在移动设备上本地部署大型语言模型（LLMs）面临重大挑战，因为它们需要大量内存。本文介绍了LinguaLinked，这是一种用于移动设备上分布式、去中心化的LLM推理的系统。LinguaLinked实现了协作式执行

作者:Junchen Zhao, Yurun Song, Simeng Liu · 语言:en

前往原址学习

简介

在移动设备上本地部署大型语言模型（LLMs）面临重大挑战，因为它们需要大量内存。本文介绍了LinguaLinked，这是一种用于移动设备上分布式、去中心化的LLM推理的系统。LinguaLinked实现了协作式执行

返回教程库 · 察元AI产品家族