ChatTTS vs VALL-E

ChatTTS est un modèle de synthèse vocale open-source conçu pour le dialogue. L'équipe 2Noise l'a entraîné sur plus de 100 000 heures de speech en chinois et en anglais, afin qu'il sonne de manière naturelle dans les conversations en échange, et pas seulement en narration scriptée.

Ce qui le distingue, c'est le contrôle de la prosodie à un niveau granulaire. Le modèle peut ajouter des rires, des pauses et des interjections, et il gère plusieurs locuteurs lors d'une même session. Cela en fait un outil adapté pour les assistants LLM, l'audio conversationnel et les médias interactifs riches en dialogue.

Les développeurs l'installent via pip ou en clonant le dépôt GitHub. La version open-source sur Hugging Face est un modèle de base de 40 000 heures sous licence AGPLv3+. L'équipe le présente comme étant destiné à la recherche et aux cas d'usage liés au dialogue, avec un contact à [email protected] pour toute question sur la feuille de route.

VALL-E a développé une fonction d'apprentissage contextuelle qui peut être utilisée pour synthétiser la parole personnalisée de haute qualité en enregistrant simplement un haut-parleur invisible pendant 3 secondes en tant qu'invite vocale. Les résultats expérimentaux montrent que VALL-E surpasse considérablement les systèmes TTS de pointe à la pointe de la technologie en termes de naturel de la parole et de similitude des haut-parleurs. De plus, nous avons constaté que Vall-E peut préserver les émotions de l'orateur et l'environnement acoustique des invites acoustiques pendant la synthèse.