SpeechGPT vs MusicLM

SpeechGPT te permite mantener conversaciones de voz en el navegador usando tu propia clave API de OpenAI. Escribes o grabas mensajes, los envías a través de una interfaz de chat y escuchas respuestas habladas sin instalar software de escritorio.

A diferencia de los servicios TTS alojados que incluyen los costos del modelo en una suscripción, SpeechGPT se ejecuta en el navegador y te cobra solo a través de las cuentas de OpenAI, Azure Speech Services o Amazon Polly que conectes. Esto lo convierte en una opción ligera para desarrolladores y estudiantes de idiomas que ya tienen acceso a la API y desean una interfaz simple de chat por voz.

La interfaz soporta etiquetas de UI en inglés, español y chino, incluye un botón de grabación para entrada de voz y almacena los datos de la sesión localmente en el navegador. Es adecuado para desarrolladores que prueban flujos de chat por voz, estudiantes de idiomas que practican indicaciones habladas y cualquier persona que quiera un cliente de voz ChatGPT minimalista en móvil o escritorio.

MusicLM es un modelo de generación de audio de Google Research que crea música a partir de descripciones textuales a 24 kHz. La página pública de ejemplos aloja clips de muestra para indicaciones como bandas sonoras de arcade, fusiones de reggaeton-EDM y jazz relajante, además de generaciones más largas en modo historia que cambian de estilo a lo largo de segmentos temporizados. Google publicó el conjunto de datos MusicCaps con 5,500 pares de música y texto junto con el artículo.

A diferencia de las aplicaciones para consumidores que ofrecen una sola caja de indicaciones, MusicLM se publicó como una demostración de investigación con muestras pre-generadas en lugar de un producto con inicio de sesión. Su característica principal es la condicionamiento conjunto de texto y melodía: puedes tararear o silbar una melodía y el modelo la vuelve a interpretar en un nuevo género descrito en texto. El modo historia enlaza múltiples descripciones para que la música evolucione a lo largo de las secciones.

MusicLM es importante como la base de investigación detrás de los modelos musicales posteriores Lyria de Google, pero esta página es para escuchar ejemplos publicados, no para crear nuevas pistas de forma interactiva. Investigadores y músicos lo estudian por la consistencia en piezas largas, el condicionamiento de pintura a música y los resultados de transferencia de melodía documentados en el artículo de 2023.