ChatTTS vs MusicLM

ChatTTS est un modèle de synthèse vocale open-source conçu pour le dialogue. L'équipe 2Noise l'a entraîné sur plus de 100 000 heures de speech en chinois et en anglais, afin qu'il sonne de manière naturelle dans les conversations en échange, et pas seulement en narration scriptée.

Ce qui le distingue, c'est le contrôle de la prosodie à un niveau granulaire. Le modèle peut ajouter des rires, des pauses et des interjections, et il gère plusieurs locuteurs lors d'une même session. Cela en fait un outil adapté pour les assistants LLM, l'audio conversationnel et les médias interactifs riches en dialogue.

Les développeurs l'installent via pip ou en clonant le dépôt GitHub. La version open-source sur Hugging Face est un modèle de base de 40 000 heures sous licence AGPLv3+. L'équipe le présente comme étant destiné à la recherche et aux cas d'usage liés au dialogue, avec un contact à [email protected] pour toute question sur la feuille de route.

Google présente Musiclm, un modèle générant de la musique haute fidélité à partir de descriptions de texte telles que "une mélodie de violon apaisante soutenue par un riff de guitare déformé".

Musiclm lance le processus de génération de musique conditionnelle en tant que tâche de modélisation de séquence à séquence hiérarchique, et elle génère de la musique à 24 kHz qui reste cohérente sur plusieurs minutes.