察元AI教程库 · 文章 · 部署

LMDeploy通过TurboMind加速混合精度LLM推理

混合精度推理技术通过将混合精度格式应用于模型权重、激活值和K-V缓存，降低了大型语言模型（LLMs）的内存和计算需求。然而，现有系统在（i）自动适应多样化硬件架构方面存在困难

作者:Li Zhang, Youhe Jiang, Guoliang He · 语言:en

前往原址学习

简介

混合精度推理技术通过将混合精度格式应用于模型权重、激活值和K-V缓存，降低了大型语言模型（LLMs）的内存和计算需求。然而，现有系统在（i）自动适应多样化硬件架构方面存在困难

返回教程库 · 察元AI产品家族