MusicLM vs VALL-E

MusicLM es un modelo de generación de audio de Google Research que crea música a partir de descripciones textuales a 24 kHz. La página pública de ejemplos aloja clips de muestra para indicaciones como bandas sonoras de arcade, fusiones de reggaeton-EDM y jazz relajante, además de generaciones más largas en modo historia que cambian de estilo a lo largo de segmentos temporizados. Google publicó el conjunto de datos MusicCaps con 5,500 pares de música y texto junto con el artículo.

A diferencia de las aplicaciones para consumidores que ofrecen una sola caja de indicaciones, MusicLM se publicó como una demostración de investigación con muestras pre-generadas en lugar de un producto con inicio de sesión. Su característica principal es la condicionamiento conjunto de texto y melodía: puedes tararear o silbar una melodía y el modelo la vuelve a interpretar en un nuevo género descrito en texto. El modo historia enlaza múltiples descripciones para que la música evolucione a lo largo de las secciones.

MusicLM es importante como la base de investigación detrás de los modelos musicales posteriores Lyria de Google, pero esta página es para escuchar ejemplos publicados, no para crear nuevas pistas de forma interactiva. Investigadores y músicos lo estudian por la consistencia en piezas largas, el condicionamiento de pintura a música y los resultados de transferencia de melodía documentados en el artículo de 2023.

VALL-E es un modelo de texto a voz de Microsoft Research que clona la voz de un hablante a partir de un breve clip de audio y genera nuevo discurso a partir de texto. Pertenece a la categoría de generación de audio porque sintetiza habla natural en lugar de editar grabaciones existentes. La página del proyecto aloja muestras de audio para el modelo original VALL-E y variantes posteriores de la misma familia de investigación.

La mayoría de los sistemas TTS regresan formas de onda continuas o mel-espectrogramas directamente. VALL-E, en cambio, trata el habla como una tarea de modelado de lenguaje condicional sobre códigos discretos de un códec de audio neuronal. Microsoft lo entrenó con aproximadamente 60,000 horas de habla en inglés, mucho más grande que los conjuntos de datos típicos de TTS. Una grabación inscrita de 3 segundos de un hablante no visto es suficiente para impulsar la síntesis zero-shot, y el modelo puede mantener la emoción y el tono ambiental presentes en ese estímulo.

La familia VALL-E creció más allá del primer artículo. VALL-E X maneja TTS zero-shot multilingüe, VALL-E R añade alineación monótona de fonemas para una generación de habla más estable, y VALL-E 2 combina muestreo consciente de repeticiones con modelado de códigos agrupados para alcanzar la paridad humana en los benchmarks LibriSpeech y VCTK. Líneas relacionadas como MELLE, FELLE y PALLE exploran tokens mel continuos y decodificación híbrida autoregresiva más paralela.

Investigadores, ingenieros de voz y oyentes curiosos usan VALL-E para escuchar lo que los modelos de lenguaje de códec a gran escala pueden hacer antes de construir sus propias cadenas. Las muestras públicas son demos de investigación, no una API alojada que se pueda integrar en un producto sin licencia y revisión ética separadas.