MusicLM vs VALL-E

MusicLM est un modèle de génération audio de Google Research qui crée de la musique à partir de légendes textuelles à 24 kHz. La page d'exemples publics héberge des extraits pour des invites telles que des bandes-son d'arcade, des fusions reggaeton-EDM et du jazz relaxant, ainsi que des générations plus longues en mode histoire qui changent de style selon des segments temporels. Google a publié le jeu de données MusicCaps de 5 500 paires musique-texte en même temps que l'article.

Contrairement aux applications grand public qui proposent une seule zone de saisie, MusicLM a été publié comme une démo de recherche avec des échantillons pré-générés plutôt qu'un produit nécessitant une connexion. Son astuce principale est la condition conjointe texte et mélodie : vous pouvez fredonner ou siffler un air et le modèle le recompose dans un nouveau genre décrit par texte. Le mode histoire enchaîne plusieurs légendes pour que la musique évolue au fil des sections.

MusicLM est important comme base de recherche derrière les modèles musicaux Lyria ultérieurs de Google, mais cette page sert à écouter des exemples publiés, pas à créer de nouveaux morceaux de manière interactive. Chercheurs et musiciens l'étudient pour la cohérence sur le long terme, la condition peinture-à-musique et les résultats de transfert de mélodie documentés dans l'article de 2023.

VALL-E est un modèle de synthèse vocale de Microsoft Research qui clone la voix d'un locuteur à partir d'un court extrait audio et génère un nouveau discours à partir de texte. Il appartient à la catégorie de la génération audio car il synthétise un discours naturel plutôt que d'éditer des enregistrements existants. La page du projet héberge des exemples audio pour le modèle original VALL-E et ses variantes ultérieures dans la même famille de recherche.

La plupart des systèmes de synthèse vocale régressent directement des formes d'onde continues ou des mél-spectrogrammes. VALL-E considère plutôt la parole comme une tâche de modélisation linguistique conditionnelle sur des codes discrets issus d'un codec audio neuronal. Microsoft l'a entraîné sur environ 60 000 heures de discours en anglais, bien plus que les ensembles de données TTS habituels. Un enregistrement de 3 secondes d'un locuteur inconnu suffit pour une synthèse zéro-shot, et le modèle peut conserver l'émotion et l'ambiance de la pièce présentes dans cet extrait.

La famille VALL-E s'est étendue au-delà du premier article. VALL-E X gère la synthèse vocale zéro-shot multilingue, VALL-E R ajoute un alignement monotone des phonèmes pour une génération de discours plus stable, et VALL-E 2 associe un échantillonnage conscient de la répétition à une modélisation groupée des codes pour atteindre la parité humaine sur les benchmarks LibriSpeech et VCTK. Des variantes comme MELLE, FELLE et PALLE explorent les tokens mél continus et un décodage hybride autoregressif plus parallèle.

Chercheurs, ingénieurs du son et auditeurs curieux utilisent VALL-E pour découvrir ce que les grands modèles linguistiques de codec peuvent faire avant de construire leurs propres chaînes. Les exemples publics sont des démonstrations de recherche, pas une API hébergée que l'on peut intégrer dans un produit sans licence et revue éthique séparées.