Vidu vs Phenaki

Vidu convierte indicaciones de texto, imágenes fijas y fotos de referencia en clips de video terminados de hasta 1080p. Creadores independientes y equipos de producción lo usan para saltarse una cadena de postproducción tradicional y pasar de la idea a la exportación en el navegador. Los modos principales son texto a video, imagen a video y referencia a video.

Referencia a video es donde Vidu destaca. Sube hasta siete imágenes para mantener personajes, objetos y escenas consistentes a lo largo de un clip, o guarda recursos en Mis Referencias para reutilizarlos en proyectos posteriores. El modelo Vidu Q3 añade audio nativo en la misma generación, por lo que diálogos, locuciones, efectos de sonido y música se sincronizan con la imagen en lugar de en un paso de edición separado.

Creadores que trabajan en anime, publicidad, contenido social y cine de formato corto usan Vidu para todo, desde clips virales basados en plantillas hasta tomas narrativas de 16 segundos con control de cámara a nivel de cuadro. Estudios y mercadólogos también usan imagen a video para animar tomas de productos o cambiar fondos de anuncios manteniendo a los sujetos en modelo.

Las cuentas nuevas reciben créditos iniciales, con más disponibles mediante inicios de sesión diarios, suscripciones y eventos de la plataforma.

Phenaki es un modelo de texto a video de Google Research que genera clips de dominio abierto a partir de secuencias de indicaciones, de modo que la historia puede cambiar a medida que llega nuevo texto con el tiempo. Su codificador C-ViViT comprime el metraje en tokens discretos con atención temporal causal, lo que permite al sistema manejar longitudes variables de clips en lugar de ráfagas fijas de dos segundos. Un transformador enmascarado convierte tokens de texto en tokens de video, luego el decodificador reconstruye los píxeles para demostraciones que duran más de dos minutos cuando las indicaciones están encadenadas.

Los generadores de video para consumidores suelen pedir una indicación por clip. El artículo y el sitio de demostración de Phenaki se centran en cadenas de indicaciones que varían en el tiempo, continuación condicionada por imagen a partir de un primer cuadro y entrenamiento conjunto en pares imagen-texto además de conjuntos más pequeños de video-texto para ir más allá de los conjuntos de datos limitados de video. Se pueden explorar historias de ejemplo en la página del proyecto en lugar de registrarse para un editor alojado.

Investigadores, ingenieros de ML y tecnólogos creativos estudian Phenaki para la síntesis narrativa de larga duración y el diseño de tokenizadores. El sitio phenaki.github.io aloja ejemplos interactivos de astronautas, continuaciones de imagen más indicación y muestras publicadas de historias de dos a dos minutos y medio con listas de indicaciones documentadas junto a cada clip.