Aimi.fm vs VALL-E

Aimi.fm cria músicas royalty-free a partir de stems de artistas licenciados em vez de usar gravações protegidas por direitos autorais, e depois distribui esse motor através do Aimi Sync para pontuação de vídeo. Faça upload de um clipe, e o Sync analisa as cenas quadro a quadro para compor uma trilha sonora correspondente com vocais opcionais, narração e stems para download. A página inicial pública agora antecipa um relançamento, mas os preços do Sync, a documentação e a página sobre mostram que a empresa ainda oferece ferramentas para criadores e desenvolvedores.

Enquanto geradores que usam apenas prompts produzem clipes estáticos, o Aimi Sync trata seu vídeo como o prompt e ajusta o tempo conforme o corte de cena. A música vem do Sonic Vault, com samples gravados por humanos orquestrados pelo Aimi Script e o motor AMOS, com um registro que documenta cada posicionamento de stem para pagamentos aos artistas. Esse modelo baseado em samples é o motivo pelo qual a Aimi.fm reivindica mais de 60 patentes e se posiciona contra ferramentas treinadas em catálogos de grandes gravadoras.

Criadores de vídeo que pontuam Reels, tutoriais e trabalhos para clientes têm exportações ilimitadas nos planos pagos, com um plano gratuito para clipes de 1 minuto. Músicos independentes podem enviar stems para o Sonic Vault e ganhar com micro-uso. Desenvolvedores podem solicitar a API do Sync para incorporar trilhas sonoras conscientes das cenas e liberadas de direitos autorais em apps sem precisar lidar com licenciamento.

VALL-E é um modelo de texto para fala da Microsoft Research que clona a voz de um locutor a partir de um curto clipe de áudio e gera nova fala a partir do texto. Pertence à categoria de geração de áudio porque sintetiza fala natural em vez de editar gravações existentes. A página do projeto hospeda áudios de exemplo para o modelo original VALL-E e variantes posteriores da mesma família de pesquisa.

A maioria dos sistemas TTS regredem formas de onda contínuas ou mel-espectrogramas diretamente. VALL-E, em vez disso, trata a fala como uma tarefa de modelagem condicional de linguagem sobre códigos discretos de um codec neural de áudio. A Microsoft o treinou com cerca de 60.000 horas de fala em inglês, muito maior que os conjuntos de dados típicos de TTS. Uma gravação de 3 segundos de um locutor não visto é suficiente para conduzir a síntese zero-shot, e o modelo pode manter a emoção e o tom ambiente presentes nesse prompt.

A família VALL-E cresceu além do primeiro artigo. VALL-E X lida com TTS zero-shot cross-lingual, VALL-E R adiciona alinhamento monotônico de fonemas para uma geração de fala mais estável, e VALL-E 2 combina amostragem consciente de repetição com modelagem de código agrupado para alcançar paridade humana nos benchmarks LibriSpeech e VCTK. Linhas relacionadas como MELLE, FELLE e PALLE exploram tokens mel contínuos e decodificação híbrida autoregressiva mais paralela.

Pesquisadores, engenheiros de fala e ouvintes curiosos usam VALL-E para ouvir o que modelos de linguagem de codec em larga escala podem fazer antes de construir seus próprios pipelines. As amostras públicas são demos de pesquisa, não uma API hospedada que você pode integrar a um produto sem licenciamento e revisão ética separada.