MusicLM vs VALL-E

MusicLM é um modelo de geração de áudio do Google Research que cria música a partir de legendas de texto a 24 kHz. A página pública de exemplos hospeda clipes de amostra para comandos como trilhas sonoras de arcade, fusões de reggaeton-EDM e jazz relaxante, além de gerações mais longas no modo história que mudam de estilo ao longo de segmentos temporizados. O Google lançou o conjunto de dados MusicCaps com 5.500 pares de música-texto junto com o artigo.

Diferente de aplicativos para consumidores que oferecem uma única caixa de comando, o MusicLM foi publicado como uma demonstração de pesquisa com amostras pré-geradas, e não como um produto com login. Seu truque principal é o condicionamento conjunto de texto e melodia: você pode cantarolar ou assobiar uma melodia e fazer o modelo regravá-la em um novo gênero descrito em texto. O modo história encadeia múltiplas legendas para que a música evolua ao longo das seções.

O MusicLM é importante como base de pesquisa para os modelos musicais Lyria posteriores do Google, mas esta página é para ouvir exemplos publicados, não para criar novas faixas interativamente. Pesquisadores e músicos o estudam pela consistência em longas durações, condicionamento de pintura para música e resultados de transferência de melodia documentados no artigo de 2023.

VALL-E é um modelo de texto para fala da Microsoft Research que clona a voz de um locutor a partir de um curto clipe de áudio e gera nova fala a partir do texto. Pertence à categoria de geração de áudio porque sintetiza fala natural em vez de editar gravações existentes. A página do projeto hospeda áudios de exemplo para o modelo original VALL-E e variantes posteriores da mesma família de pesquisa.

A maioria dos sistemas TTS regredem formas de onda contínuas ou mel-espectrogramas diretamente. VALL-E, em vez disso, trata a fala como uma tarefa de modelagem condicional de linguagem sobre códigos discretos de um codec neural de áudio. A Microsoft o treinou com cerca de 60.000 horas de fala em inglês, muito maior que os conjuntos de dados típicos de TTS. Uma gravação de 3 segundos de um locutor não visto é suficiente para conduzir a síntese zero-shot, e o modelo pode manter a emoção e o tom ambiente presentes nesse prompt.

A família VALL-E cresceu além do primeiro artigo. VALL-E X lida com TTS zero-shot cross-lingual, VALL-E R adiciona alinhamento monotônico de fonemas para uma geração de fala mais estável, e VALL-E 2 combina amostragem consciente de repetição com modelagem de código agrupado para alcançar paridade humana nos benchmarks LibriSpeech e VCTK. Linhas relacionadas como MELLE, FELLE e PALLE exploram tokens mel contínuos e decodificação híbrida autoregressiva mais paralela.

Pesquisadores, engenheiros de fala e ouvintes curiosos usam VALL-E para ouvir o que modelos de linguagem de codec em larga escala podem fazer antes de construir seus próprios pipelines. As amostras públicas são demos de pesquisa, não uma API hospedada que você pode integrar a um produto sem licenciamento e revisão ética separada.