Lumiere vs Synthesia

Lumiere es un modelo de difusión de texto a video de Google Research diseñado para sintetizar videos con movimiento realista, diverso y coherente. La página del proyecto muestra ejemplos de resultados para texto a video, imagen a video, generación estilizada, estilización de videos, cinemagraphs y reparación de videos.

Su arquitectura Space-Time U-Net genera un clip completo en una sola pasada del modelo, en lugar de crear fotogramas clave distantes y rellenar los huecos con superresolución temporal. El modelo utiliza muestreo ascendente y descendente espacial y temporal y se basa en una columna vertebral preentrenada de difusión de texto a imagen para producir videos a velocidad de cuadro completo en múltiples escalas espacio-temporales.

El sitio es una demostración de investigación y un complemento del artículo, no una aplicación para consumidores. Está dirigido a investigadores, ingenieros y creadores que desean estudiar la difusión de videos de última generación y ver lo que el modelo puede hacer en tareas de generación y edición.

Synthesia convierte guiones en videos con presentadores usando más de 240 avatares prediseñados, voces clonadas y doblaje sincronizado en más de 160 idiomas. Escribes el texto, eliges un avatar y exportas en MP4 o SCORM sin necesidad de cámaras, estudios o actores de voz. El plan Básico incluye 10 minutos de video generado por mes con 9 avatares prediseñados.

Mientras que la mayoría de las herramientas de video con avatares se detienen en la exportación, Synthesia permite crear, localizar, colaborar y publicar en un solo espacio de trabajo. Los videos incrustados se actualizan automáticamente al editar la fuente, los paquetes SCORM incluyen versiones traducidas y los equipos Enterprise obtienen Kits de Marca además de SAML/SSO. Las Sesiones de Roleplay añaden un enfoque novedoso: practicar conversaciones de ventas o soporte con avatares interactivos que califican tus respuestas.

Los equipos de L&D lo usan para cumplimiento y capacitación a gran escala. Los grupos de habilitación de ventas envían actualizaciones de presentaciones en minutos en lugar de programar grabaciones. Los equipos de marketing y comunicaciones internas localizan un video maestro en docenas de idiomas con traducción de un solo clic. Más de 50,000 empresas lo usan, incluyendo una gran parte del Fortune 100.