察元AI教程库 · 文章 · 大模型

基于帧堆叠的局部Transformer用于高效的多码本语音生成

基于大型语言模型(LLMs)的语音生成模型通常以离散的声学代码作为输入,这些代码与文本token根本不同,因为它们具有多码本结构。在每个时间步,模型必须联合预测N个码本条目,引入了挑战模拟的依赖关系

作者:Roy Fejgin, Paarth Neekhara, Xuesong Yang · 语言:en

前往原址学习

简介

基于大型语言模型(LLMs)的语音生成模型通常以离散的声学代码作为输入,这些代码与文本token根本不同,因为它们具有多码本结构。在每个时间步,模型必须联合预测N个码本条目,引入了挑战模拟的依赖关系

返回教程库 · 察元AI产品家族