察元AI教程库 · 文章 · 部署
大型语言 语言模型（LLMs）越来越多地作为智能Web服务的后端，但在边缘连续体上提供这些模型需要在质量、延迟、模型大小和能耗之间进行权衡。本文提出了一个受控的测量研究，探讨了在边缘和云端自托管的LLM推理的性能
作者:Maysam Khatib, Moysis Symeonides, Demetris Trihinas · 语言:en
大型语言 语言模型（LLMs）越来越多地作为智能Web服务的后端，但在边缘连续体上提供这些模型需要在质量、延迟、模型大小和能耗之间进行权衡。本文提出了一个受控的测量研究，探讨了在边缘和云端自托管的LLM推理的性能