察元AI教程库 · 文章 · 大模型

缓存与蒸馏：优化对大型语言模型的API调用

生成式人工智能工具的规模化部署通常依赖于对大型语言模型（LLM）的昂贵API调用来满足用户查询。为了减少这些调用的频率，可以采用一个较小的语言模型——“学生模型”——该模型持续在LLM的响应上进行训练。这个“学生”模型

作者:Guillem Ramírez, Matthias Lindemann, Alexandra Birch · 语言:en

前往原址学习

简介

生成式人工智能工具的规模化部署通常依赖于对大型语言模型（LLM）的昂贵API调用来满足用户查询。为了减少这些调用的频率，可以采用一个较小的语言模型——“学生模型”——该模型持续在LLM的响应上进行训练。这个“学生”模型

返回教程库 · 察元AI产品家族