察元AI教程库 · 文章 · 部署

GKT：一种基于指导的知识迁移框架，用于高效云-边协同LLM部署

大型语言模型（LLMs）的快速增长带来了更强的响应生成能力，但同时也带来了推理时间增加和资源需求上升的问题。现有的加速方法，主要依赖于知识蒸馏，通常需要微调，因此

作者:Yao Yao, Zuchao Li, Hai Zhao · 语言:en

前往原址学习

简介

大型语言模型（LLMs）的快速增长带来了更强的响应生成能力，但同时也带来了推理时间增加和资源需求上升的问题。现有的加速方法，主要依赖于知识蒸馏，通常需要微调，因此

返回教程库 · 察元AI产品家族