察元AI教程库 · 文章 · 部署
微调大型语言模型（LLMs）对于任务适应至关重要，但当前的推理服务栈将推理和微调分别部署在独立的GPU集群上——浪费资源，未能充分利用硬件。我们引入了FlexLLM，这是首个同时提供LLM推理和基于PEFT的微调的系统。
作者:Gabriele Oliaro, Xupeng Miao, Xinhao Cheng · 语言:en
微调大型语言模型（LLMs）对于任务适应至关重要，但当前的推理服务栈将推理和微调分别部署在独立的GPU集群上——浪费资源，未能充分利用硬件。我们引入了FlexLLM，这是首个同时提供LLM推理和基于PEFT的微调的系统。