Altered Studio vs MusicLM

Altered Studio transforma el habla grabada o en vivo en voces seleccionadas o personalizadas para producción de medios y llamadas en tiempo real. Su motor de voz a voz funciona en el navegador o localmente en Windows y Mac, con una aplicación separada Real-Time Pro para juegos, centros de llamadas y restauración de voz durante videollamadas.

La mayoría de los cambiadores de voz sacrifican calidad por latencia o viceversa. Altered divide la pila: la transformación para producción de medios apunta a calidad de grabación en GPUs con refinamientos en post-edición, mientras que Real-Time Pro usa de 1 a 4 núcleos de CPU para skins de baja latencia, traducción de acentos y soporte Euphonia para disfonía y disfluencias.

Podcasters, estudios de juegos y equipos de centros de llamadas lo usan para doblar escenas con múltiples personajes, cambiar acentos en llamadas en vivo y limpiar diálogos ruidosos. La página Studio ofrece transcripción en más de 75 idiomas, traducción y voz en off de texto a voz en más de 70 idiomas de proveedores principales en un solo editor.

MusicLM es un modelo de generación de audio de Google Research que crea música a partir de descripciones textuales a 24 kHz. La página pública de ejemplos aloja clips de muestra para indicaciones como bandas sonoras de arcade, fusiones de reggaeton-EDM y jazz relajante, además de generaciones más largas en modo historia que cambian de estilo a lo largo de segmentos temporizados. Google publicó el conjunto de datos MusicCaps con 5,500 pares de música y texto junto con el artículo.

A diferencia de las aplicaciones para consumidores que ofrecen una sola caja de indicaciones, MusicLM se publicó como una demostración de investigación con muestras pre-generadas en lugar de un producto con inicio de sesión. Su característica principal es la condicionamiento conjunto de texto y melodía: puedes tararear o silbar una melodía y el modelo la vuelve a interpretar en un nuevo género descrito en texto. El modo historia enlaza múltiples descripciones para que la música evolucione a lo largo de las secciones.

MusicLM es importante como la base de investigación detrás de los modelos musicales posteriores Lyria de Google, pero esta página es para escuchar ejemplos publicados, no para crear nuevas pistas de forma interactiva. Investigadores y músicos lo estudian por la consistencia en piezas largas, el condicionamiento de pintura a música y los resultados de transferencia de melodía documentados en el artículo de 2023.