察元AI教程库 · 文章 · 大模型
本文介绍了LiveMind，一种用于大语言模型（LLM）推理的新型低延迟推理框架，该框架使LLM能够在用户输入不完整的前提下进行推理。通过将计算过程重新分配到输入阶段，实现了显著的延迟降低。
作者:Chuangtao Chen, Grace Li Zhang, Xunzhao Yin · 语言:en
本文介绍了LiveMind，一种用于大语言模型（LLM）推理的新型低延迟推理框架，该框架使LLM能够在用户输入不完整的前提下进行推理。通过将计算过程重新分配到输入阶段，实现了显著的延迟降低。