Aimi.fm 对比 VALL-E

Aimi.fm 利用授权艺术家音轨构建免版税音乐，而非抓取受版权保护的录音，然后通过 Aimi Sync 引擎为视频配乐。上传视频片段后，Sync 会逐帧分析场景，创作匹配的配乐，支持选择性添加人声、旁白及可下载的音轨。公共主页现已预告即将重新上线，但 Sync 的定价、文档和关于页面显示公司仍在为创作者和开发者提供工具。

与仅生成静态片段的提示词生成器不同，Aimi Sync 将视频视为提示词，并根据场景切换调整时长。音乐来源于由 Aimi Script 和 AMOS 引擎编排的人声录制样本库 Sonic Vault，且每个音轨的使用都会记录在账本中以便支付艺术家报酬。正是这种以样本为先的模式，使 Aimi.fm 拥有超过 60 项专利，并将自身定位为与基于大型唱片目录训练的工具不同。

为制作 Reels、教程和客户作品配乐的视频创作者，在付费套餐中可无限导出，免费方案支持 1 分钟片段。独立音乐人可上传音轨至 Sonic Vault 并通过微量使用获得收益。开发者可申请 Sync API，将具备场景感知且版权清晰的配乐嵌入应用，无需自行处理授权。

VALL-E 是微软研究院开发的文本转语音模型，能够从一段简短的音频片段克隆说话者的声音，并根据文本生成新的语音。它属于音频生成类别，因为它合成自然语音，而非编辑现有录音。项目页面提供了原始 VALL-E 模型及同一研究系列后续变体的示例音频。

大多数 TTS 系统直接回归连续波形或梅尔频谱图。VALL-E 则将语音视为基于神经音频编解码器离散编码的条件语言建模任务。微软使用约 60,000 小时的英语语音进行训练，远超典型 TTS 数据集。仅需一段 3 秒的未见说话者录音即可实现零样本合成，且模型能保持提示中存在的情感和环境音。

VALL-E 系列超越了首篇论文。VALL-E X 支持跨语言零样本 TTS，VALL-E R 增加了音素单调对齐以实现更稳定的语音生成，VALL-E 2 结合重复感知采样与分组编码建模，在 LibriSpeech 和 VCTK 基准测试中达到人类水平。相关系列如 MELLE、FELLE 和 PALLE 探索连续梅尔令牌及混合自回归加并行解码。

研究人员、语音工程师和好奇的听众使用 VALL-E 来体验大规模编解码器语言模型的能力，作为构建自身流程前的参考。公开示例为研究演示，不是可直接接入产品的托管 API，使用需另行许可和伦理审查。