察元AI教程库 · 文章 · 大模型
将预训练的基于文本的大语言模型(LLM)与语音输入相结合,使得模型能够完成多种语音任务的指令遵循。这种结合需要使用语音编码器、语音适配器和一个在多种任务上训练的LLM。我们提出使用离散
作者:Suwon Shon, Kwangyoun Kim, Yi-Te Hsu · 语言:en
将预训练的基于文本的大语言模型(LLM)与语音输入相结合,使得模型能够完成多种语音任务的指令遵循。这种结合需要使用语音编码器、语音适配器和一个在多种任务上训练的LLM。我们提出使用离散