ChatTTS vs VALL-E

ChatTTS es un modelo de texto a voz de código abierto diseñado para diálogos. El equipo de 2Noise lo entrenó con más de 100,000 horas de habla en chino e inglés, para que suene natural en conversaciones de ida y vuelta, no solo en narraciones guionizadas.

Lo que lo distingue es el control de prosodia a nivel granular. El modelo puede añadir risas, pausas e interjecciones, y maneja múltiples hablantes en una sola sesión. Esto lo hace apropiado para asistentes LLM, audio conversacional y multimedia con diálogos intensos.

Los desarrolladores pueden instalarlo mediante pip o clonar el repositorio en GitHub. La versión de código abierto en Hugging Face es un modelo base de 40,000 horas bajo la licencia AGPLv3+. El equipo lo orienta para casos de uso en investigación y diálogos, y se puede contactar en [email protected] para consultas sobre la hoja de ruta.

VALL-E es un modelo de texto a voz de Microsoft Research que clona la voz de un hablante a partir de un breve clip de audio y genera nuevo discurso a partir de texto. Pertenece a la categoría de generación de audio porque sintetiza habla natural en lugar de editar grabaciones existentes. La página del proyecto aloja muestras de audio para el modelo original VALL-E y variantes posteriores de la misma familia de investigación.

La mayoría de los sistemas TTS regresan formas de onda continuas o mel-espectrogramas directamente. VALL-E, en cambio, trata el habla como una tarea de modelado de lenguaje condicional sobre códigos discretos de un códec de audio neuronal. Microsoft lo entrenó con aproximadamente 60,000 horas de habla en inglés, mucho más grande que los conjuntos de datos típicos de TTS. Una grabación inscrita de 3 segundos de un hablante no visto es suficiente para impulsar la síntesis zero-shot, y el modelo puede mantener la emoción y el tono ambiental presentes en ese estímulo.

La familia VALL-E creció más allá del primer artículo. VALL-E X maneja TTS zero-shot multilingüe, VALL-E R añade alineación monótona de fonemas para una generación de habla más estable, y VALL-E 2 combina muestreo consciente de repeticiones con modelado de códigos agrupados para alcanzar la paridad humana en los benchmarks LibriSpeech y VCTK. Líneas relacionadas como MELLE, FELLE y PALLE exploran tokens mel continuos y decodificación híbrida autoregresiva más paralela.

Investigadores, ingenieros de voz y oyentes curiosos usan VALL-E para escuchar lo que los modelos de lenguaje de códec a gran escala pueden hacer antes de construir sus propias cadenas. Las muestras públicas son demos de investigación, no una API alojada que se pueda integrar en un producto sin licencia y revisión ética separadas.