察元AI教程库 · 文章 · 部署
LLM推理对于文本摘要、翻译和数据分析等应用至关重要，但云服务提供商（如AWS）的GPU实例高昂成本是一个主要负担。本文提出了一种名为InferSave的低成本虚拟机选择框架，用于基于云的LLM推理。
作者:Kihyun Kim, Jinwoo Kim, Hyunsun Chung · 语言:en
LLM推理对于文本摘要、翻译和数据分析等应用至关重要，但云服务提供商（如AWS）的GPU实例高昂成本是一个主要负担。本文提出了一种名为InferSave的低成本虚拟机选择框架，用于基于云的LLM推理。