ChatTTS 对比 VALL-E

ChatTTS 是一个为对话而构建的开源文本到语音模型。2Noise 团队在超过 10 万小时的中文和英文语音数据上进行了训练，因此它在双向对话中听起来自然流畅，而不仅仅是预设的旁白。

其区别在于在细节层面进行韵律控制。该模型可以加入笑声、暂停和插入语，并能在一次会话中处理多个发声者。这使它非常适合用于大型语言模型助手、对话音频以及对话密集的多媒体内容。

开发者可以通过 pip 安装或克隆 GitHub 仓库。在 Hugging Face 上的开源版本是一个基于 4 万小时数据的基础模型，遵循 AGPLv3+ 协议。团队将其定位为研究和对话用途，若有路线图方面的问题，可以通过 [email protected] 联系。

Vall-E开发了一种上下文感知的学习功能，可以通过简单地将无形的扬声器记录3秒钟作为语音提示来综合高质量的个性化语音。实验结果表明，在语音自然性和说话者的相似性方面，VALL-E的表现显着优于最先进的零击中TTS系统。此外，我们发现Vall-E可以保留综合过程中声音提示的演讲者的情绪和声学提示的声学环境。