ChatTTS vs MusicLM

ChatTTS est un modèle de synthèse vocale open-source conçu pour le dialogue. L'équipe 2Noise l'a entraîné sur plus de 100 000 heures de speech en chinois et en anglais, afin qu'il sonne de manière naturelle dans les conversations en échange, et pas seulement en narration scriptée.

Ce qui le distingue, c'est le contrôle de la prosodie à un niveau granulaire. Le modèle peut ajouter des rires, des pauses et des interjections, et il gère plusieurs locuteurs lors d'une même session. Cela en fait un outil adapté pour les assistants LLM, l'audio conversationnel et les médias interactifs riches en dialogue.

Les développeurs l'installent via pip ou en clonant le dépôt GitHub. La version open-source sur Hugging Face est un modèle de base de 40 000 heures sous licence AGPLv3+. L'équipe le présente comme étant destiné à la recherche et aux cas d'usage liés au dialogue, avec un contact à [email protected] pour toute question sur la feuille de route.

MusicLM est un modèle de génération audio de Google Research qui crée de la musique à partir de légendes textuelles à 24 kHz. La page d'exemples publics héberge des extraits pour des invites telles que des bandes-son d'arcade, des fusions reggaeton-EDM et du jazz relaxant, ainsi que des générations plus longues en mode histoire qui changent de style selon des segments temporels. Google a publié le jeu de données MusicCaps de 5 500 paires musique-texte en même temps que l'article.

Contrairement aux applications grand public qui proposent une seule zone de saisie, MusicLM a été publié comme une démo de recherche avec des échantillons pré-générés plutôt qu'un produit nécessitant une connexion. Son astuce principale est la condition conjointe texte et mélodie : vous pouvez fredonner ou siffler un air et le modèle le recompose dans un nouveau genre décrit par texte. Le mode histoire enchaîne plusieurs légendes pour que la musique évolue au fil des sections.

MusicLM est important comme base de recherche derrière les modèles musicaux Lyria ultérieurs de Google, mais cette page sert à écouter des exemples publiés, pas à créer de nouveaux morceaux de manière interactive. Chercheurs et musiciens l'étudient pour la cohérence sur le long terme, la condition peinture-à-musique et les résultats de transfert de mélodie documentés dans l'article de 2023.