ChatTTS 对比 MusicLM

ChatTTS 是一个为对话而构建的开源文本到语音模型。2Noise 团队在超过 10 万小时的中文和英文语音数据上进行了训练，因此它在双向对话中听起来自然流畅，而不仅仅是预设的旁白。

其区别在于在细节层面进行韵律控制。该模型可以加入笑声、暂停和插入语，并能在一次会话中处理多个发声者。这使它非常适合用于大型语言模型助手、对话音频以及对话密集的多媒体内容。

开发者可以通过 pip 安装或克隆 GitHub 仓库。在 Hugging Face 上的开源版本是一个基于 4 万小时数据的基础模型，遵循 AGPLv3+ 协议。团队将其定位为研究和对话用途，若有路线图方面的问题，可以通过 [email protected] 联系。

MusicLM 是谷歌研究团队开发的音频生成模型，能够根据文本描述以 24 kHz 采样率创作音乐。公开示例页面提供了多种提示的样本片段，如街机游戏原声、雷鬼与电子舞曲融合以及轻松的爵士乐，还有跨时段风格变化的长篇故事模式生成。谷歌在论文发布的同时，公开了包含 5,500 对音乐与文本的 MusicCaps 数据集。

不同于只提供单一提示框的消费级应用，MusicLM 作为研究演示发布，展示了预生成样本，而非登录使用的产品。其核心技术是文本与旋律的联合条件控制：用户可以哼唱或吹口哨一段旋律，模型会根据文本描述将其重新演绎成新的音乐风格。故事模式则通过串联多个文本提示，使音乐在不同段落中演变。

MusicLM 是谷歌后续 Lyria 音乐模型的研究基础，但本页面仅供试听已发布示例，不支持交互式创作新曲。研究人员和音乐人关注其在长篇一致性、绘画到音乐的条件控制以及旋律迁移方面的表现，这些成果已在 2023 年的论文中记录。