Moshi AI vs VALL-E

Moshi AI es un modelo conversacional nativo de la voz de Kyutai, un laboratorio de investigación de ciencia abierta con sede en París. En lugar de encadenar reconocimiento de voz, generación de texto y conversión de texto a voz, Moshi procesa el audio directamente y mantiene conversaciones de voz de doble sentido con una latencia mínima.

Su diseño de múltiples flujos ejecuta canales separados para el usuario, la salida hablada de Moshi y un flujo de texto de Monólogo Interno que mejora la coherencia. Esa configuración permite que Moshi escuche y hable al mismo tiempo, maneje solapamientos, interrupciones y respuestas de apoyo como en una conversación real en lugar de turnos rígidos de hablantes.

Moshi está construido sobre Helium, un modelo de lenguaje de 7 mil millones de parámetros, y Mimi, el códec de audio neural de Kyutai. Se distribuyen pesos y código de inferencia para PyTorch, Rust y MLX, y puedes probarlo en el navegador en moshi-chat.kyutai.org. Investigadores, desarrolladores de IA de voz y cualquier persona que cree interfaces habladas en tiempo real encontrarán aquí un gran valor.

VALL-E es un modelo de texto a voz de Microsoft Research que clona la voz de un hablante a partir de un breve clip de audio y genera nuevo discurso a partir de texto. Pertenece a la categoría de generación de audio porque sintetiza habla natural en lugar de editar grabaciones existentes. La página del proyecto aloja muestras de audio para el modelo original VALL-E y variantes posteriores de la misma familia de investigación.

La mayoría de los sistemas TTS regresan formas de onda continuas o mel-espectrogramas directamente. VALL-E, en cambio, trata el habla como una tarea de modelado de lenguaje condicional sobre códigos discretos de un códec de audio neuronal. Microsoft lo entrenó con aproximadamente 60,000 horas de habla en inglés, mucho más grande que los conjuntos de datos típicos de TTS. Una grabación inscrita de 3 segundos de un hablante no visto es suficiente para impulsar la síntesis zero-shot, y el modelo puede mantener la emoción y el tono ambiental presentes en ese estímulo.

La familia VALL-E creció más allá del primer artículo. VALL-E X maneja TTS zero-shot multilingüe, VALL-E R añade alineación monótona de fonemas para una generación de habla más estable, y VALL-E 2 combina muestreo consciente de repeticiones con modelado de códigos agrupados para alcanzar la paridad humana en los benchmarks LibriSpeech y VCTK. Líneas relacionadas como MELLE, FELLE y PALLE exploran tokens mel continuos y decodificación híbrida autoregresiva más paralela.

Investigadores, ingenieros de voz y oyentes curiosos usan VALL-E para escuchar lo que los modelos de lenguaje de códec a gran escala pueden hacer antes de construir sus propias cadenas. Las muestras públicas son demos de investigación, no una API alojada que se pueda integrar en un producto sin licencia y revisión ética separadas.