Phenaki vs Synthesia

Phenaki es un modelo de texto a video de Google Research que genera clips de dominio abierto a partir de secuencias de indicaciones, de modo que la historia puede cambiar a medida que llega nuevo texto con el tiempo. Su codificador C-ViViT comprime el metraje en tokens discretos con atención temporal causal, lo que permite al sistema manejar longitudes variables de clips en lugar de ráfagas fijas de dos segundos. Un transformador enmascarado convierte tokens de texto en tokens de video, luego el decodificador reconstruye los píxeles para demostraciones que duran más de dos minutos cuando las indicaciones están encadenadas.

Los generadores de video para consumidores suelen pedir una indicación por clip. El artículo y el sitio de demostración de Phenaki se centran en cadenas de indicaciones que varían en el tiempo, continuación condicionada por imagen a partir de un primer cuadro y entrenamiento conjunto en pares imagen-texto además de conjuntos más pequeños de video-texto para ir más allá de los conjuntos de datos limitados de video. Se pueden explorar historias de ejemplo en la página del proyecto en lugar de registrarse para un editor alojado.

Investigadores, ingenieros de ML y tecnólogos creativos estudian Phenaki para la síntesis narrativa de larga duración y el diseño de tokenizadores. El sitio phenaki.github.io aloja ejemplos interactivos de astronautas, continuaciones de imagen más indicación y muestras publicadas de historias de dos a dos minutos y medio con listas de indicaciones documentadas junto a cada clip.

Synthesia convierte guiones en videos con presentadores usando más de 240 avatares prediseñados, voces clonadas y doblaje sincronizado en más de 160 idiomas. Escribes el texto, eliges un avatar y exportas en MP4 o SCORM sin necesidad de cámaras, estudios o actores de voz. El plan Básico incluye 10 minutos de video generado por mes con 9 avatares prediseñados.

Mientras que la mayoría de las herramientas de video con avatares se detienen en la exportación, Synthesia permite crear, localizar, colaborar y publicar en un solo espacio de trabajo. Los videos incrustados se actualizan automáticamente al editar la fuente, los paquetes SCORM incluyen versiones traducidas y los equipos Enterprise obtienen Kits de Marca además de SAML/SSO. Las Sesiones de Roleplay añaden un enfoque novedoso: practicar conversaciones de ventas o soporte con avatares interactivos que califican tus respuestas.

Los equipos de L&D lo usan para cumplimiento y capacitación a gran escala. Los grupos de habilitación de ventas envían actualizaciones de presentaciones en minutos en lugar de programar grabaciones. Los equipos de marketing y comunicaciones internas localizan un video maestro en docenas de idiomas con traducción de un solo clic. Más de 50,000 empresas lo usan, incluyendo una gran parte del Fortune 100.