小红书多媒体智能算法团队和香港中文大学首次联合提出了根据多阶段多码本紧凑型语音表征的高功能语音组成计划 MSMC-TTS。根据矢量量化变分自编码器（VQ-VAE）的特征剖析器选用若干码本对声学特征进行阶段式编码，形成一组具有不一起间分辨率的隐序列集合。这些隐序列可以由多阶段猜测器从文本中猜测取得，并且通过神经声码器转换成方针音频。该计划，比照根据Mel-Spectrogram的Fastspeech 基线体系，音质和天然度有明显的改善。该作业现已总结成论文 “A Multi-Stage Multi-Codebook VQ-VAE Approach to High-Performance Neural TTS”，并被语音范畴会议 INTERSPEECH 2022 接收。

（更多…）