ChatTTS vs VALL-E

ChatTTS es un modelo de texto a voz de código abierto diseñado para diálogos. El equipo de 2Noise lo entrenó con más de 100,000 horas de habla en chino e inglés, para que suene natural en conversaciones de ida y vuelta, no solo en narraciones guionizadas.

Lo que lo distingue es el control de prosodia a nivel granular. El modelo puede añadir risas, pausas e interjecciones, y maneja múltiples hablantes en una sola sesión. Esto lo hace apropiado para asistentes LLM, audio conversacional y multimedia con diálogos intensos.

Los desarrolladores pueden instalarlo mediante pip o clonar el repositorio en GitHub. La versión de código abierto en Hugging Face es un modelo base de 40,000 horas bajo la licencia AGPLv3+. El equipo lo orienta para casos de uso en investigación y diálogos, y se puede contactar en [email protected] para consultas sobre la hoja de ruta.

Vall-E ha desarrollado una función de aprendizaje con el contexto que puede usarse para sintetizar el discurso personalizado de alta calidad simplemente registrando un altavoz invisible durante 3 segundos como un mensaje de voz. Los resultados experimentales muestran que Vall-E supera significativamente a los sistemas TTS de disparo cero de última generación en términos de naturalidad del habla y similitud de altavoces. Además, encontramos que Vall-E puede preservar las emociones del hablante y el entorno acústico de las indicaciones acústicas durante la síntesis.