ChatTTS vs MusicLM

ChatTTS es un modelo de texto a voz de código abierto diseñado para diálogos. El equipo de 2Noise lo entrenó con más de 100,000 horas de habla en chino e inglés, para que suene natural en conversaciones de ida y vuelta, no solo en narraciones guionizadas.

Lo que lo distingue es el control de prosodia a nivel granular. El modelo puede añadir risas, pausas e interjecciones, y maneja múltiples hablantes en una sola sesión. Esto lo hace apropiado para asistentes LLM, audio conversacional y multimedia con diálogos intensos.

Los desarrolladores pueden instalarlo mediante pip o clonar el repositorio en GitHub. La versión de código abierto en Hugging Face es un modelo base de 40,000 horas bajo la licencia AGPLv3+. El equipo lo orienta para casos de uso en investigación y diálogos, y se puede contactar en [email protected] para consultas sobre la hoja de ruta.

Google presenta a MusicLM, un modelo que genera música de alta fidelidad a partir de descripciones de texto como "una melodía de violín calmante respaldada por un riff de guitarra distorsionado".

MusicLM emite el proceso de generación de música condicional como una tarea de modelado de secuencia jerárquica a secuencia, y genera música a 24 kHz que sigue siendo consistente durante varios minutos.