Moshi AI 对比 MusicLM

Moshi AI 是来自巴黎开源科学研究实验室 Kyutai 的一种语音原生对话模型。它无需串联语音识别、文本生成和语音合成，而是直接处理音频，实现低延迟的全双工语音对话。

其多流设计为用户、Moshi的语音输出以及内部独白文本流开辟了独立的通道，从而提高一致性。这样的设置使得Moshi可以边听边说，应对重叠、打断和回话，就像真实的对话一样，而非僵硬的轮流发言。

Moshi建立在Helium——一个7B参数的语言模型，以及Kyutai的神经音频编码器Mimi之上。其权重和推理代码支持PyTorch、Rust和MLX，您还可以在浏览器中试用，网址为moshi-chat.kyutai.org。研究人员、语音AI开发者以及任何构建实时语音界面的人都能在这里找到最大的价值。

MusicLM 是谷歌研究团队开发的音频生成模型，能够根据文本描述以 24 kHz 采样率创作音乐。公开示例页面提供了多种提示的样本片段，如街机游戏原声、雷鬼与电子舞曲融合以及轻松的爵士乐，还有跨时段风格变化的长篇故事模式生成。谷歌在论文发布的同时，公开了包含 5,500 对音乐与文本的 MusicCaps 数据集。

不同于只提供单一提示框的消费级应用，MusicLM 作为研究演示发布，展示了预生成样本，而非登录使用的产品。其核心技术是文本与旋律的联合条件控制：用户可以哼唱或吹口哨一段旋律，模型会根据文本描述将其重新演绎成新的音乐风格。故事模式则通过串联多个文本提示，使音乐在不同段落中演变。

MusicLM 是谷歌后续 Lyria 音乐模型的研究基础，但本页面仅供试听已发布示例，不支持交互式创作新曲。研究人员和音乐人关注其在长篇一致性、绘画到音乐的条件控制以及旋律迁移方面的表现，这些成果已在 2023 年的论文中记录。