SpeechGPT vs VALL-E

SpeechGPT te permite mantener conversaciones de voz en el navegador usando tu propia clave API de OpenAI. Escribes o grabas mensajes, los envías a través de una interfaz de chat y escuchas respuestas habladas sin instalar software de escritorio.

A diferencia de los servicios TTS alojados que incluyen los costos del modelo en una suscripción, SpeechGPT se ejecuta en el navegador y te cobra solo a través de las cuentas de OpenAI, Azure Speech Services o Amazon Polly que conectes. Esto lo convierte en una opción ligera para desarrolladores y estudiantes de idiomas que ya tienen acceso a la API y desean una interfaz simple de chat por voz.

La interfaz soporta etiquetas de UI en inglés, español y chino, incluye un botón de grabación para entrada de voz y almacena los datos de la sesión localmente en el navegador. Es adecuado para desarrolladores que prueban flujos de chat por voz, estudiantes de idiomas que practican indicaciones habladas y cualquier persona que quiera un cliente de voz ChatGPT minimalista en móvil o escritorio.

VALL-E es un modelo de texto a voz de Microsoft Research que clona la voz de un hablante a partir de un breve clip de audio y genera nuevo discurso a partir de texto. Pertenece a la categoría de generación de audio porque sintetiza habla natural en lugar de editar grabaciones existentes. La página del proyecto aloja muestras de audio para el modelo original VALL-E y variantes posteriores de la misma familia de investigación.

La mayoría de los sistemas TTS regresan formas de onda continuas o mel-espectrogramas directamente. VALL-E, en cambio, trata el habla como una tarea de modelado de lenguaje condicional sobre códigos discretos de un códec de audio neuronal. Microsoft lo entrenó con aproximadamente 60,000 horas de habla en inglés, mucho más grande que los conjuntos de datos típicos de TTS. Una grabación inscrita de 3 segundos de un hablante no visto es suficiente para impulsar la síntesis zero-shot, y el modelo puede mantener la emoción y el tono ambiental presentes en ese estímulo.

La familia VALL-E creció más allá del primer artículo. VALL-E X maneja TTS zero-shot multilingüe, VALL-E R añade alineación monótona de fonemas para una generación de habla más estable, y VALL-E 2 combina muestreo consciente de repeticiones con modelado de códigos agrupados para alcanzar la paridad humana en los benchmarks LibriSpeech y VCTK. Líneas relacionadas como MELLE, FELLE y PALLE exploran tokens mel continuos y decodificación híbrida autoregresiva más paralela.

Investigadores, ingenieros de voz y oyentes curiosos usan VALL-E para escuchar lo que los modelos de lenguaje de códec a gran escala pueden hacer antes de construir sus propias cadenas. Las muestras públicas son demos de investigación, no una API alojada que se pueda integrar en un producto sin licencia y revisión ética separadas.