察元AI教程库 · 文章 · 大模型
我们提出了LLMA，一种LLM加速器，能够无损地加速大型语言模型（LLM）的推理过程，利用参考信息。LLMA的动机来自于观察到，在现实场景中，LLM的解码结果与可用的参考文本之间存在大量相同的文本片段。
作者:Nan Yang, Tao Ge, Liang Wang · 语言:en
我们提出了LLMA，一种LLM加速器，能够无损地加速大型语言模型（LLM）的推理过程，利用参考信息。LLMA的动机来自于观察到，在现实场景中，LLM的解码结果与可用的参考文本之间存在大量相同的文本片段。