察元AI教程库 · 仓库 · 部署

LLMLingua

[EMNLP'23, ACL'24] 为了加速LLM的推理并增强其对关键信息的感知,压缩提示和KV缓存,实现高达20倍的压缩,且性能损失极小。

作者:microsoft · 语言:en

前往原址学习

简介

[EMNLP'23, ACL'24] 为了加速LLM的推理并增强其对关键信息的感知,压缩提示和KV缓存,实现高达20倍的压缩,且性能损失极小。

返回教程库 · 察元AI产品家族