Vidu vs Lumiere

Vidu es una plataforma todo en uno para generar imágenes y videos a partir de texto, imágenes fijas o fotos de referencia. Está diseñada para creadores independientes y equipos de producción que quieren convertir ideas en clips terminados sin necesidad de un proceso de postproducción tradicional. Los modos principales son texto a video, imagen a video y referencia a video, con salida hasta 1080p.

La opción de referencia a video es donde Vidu destaca. Sube hasta siete imágenes para mantener la coherencia de personajes, objetos y escenas en todo el clip, o guarda activos en Mis Referencias para reutilizarlos en futuros proyectos. El modelo Vidu Q3 añade audio nativo en la misma pasada de generación, de modo que diálogo, narración, efectos de sonido y música se integran con la imagen en lugar de en un paso de edición separado.

Los creadores que trabajan en anime, publicidad, contenido social y cortometrajes usan Vidu para todo, desde clips virales basados en plantillas hasta tomas narrativas de 16 segundos con control de cámara a nivel de cuadro. Los estudios y equipos de marketing también utilizan imagen a video para animar tomas de producto o intercambiar fondos en anuncios mientras mantienen a los sujetos en el encuadre.

El Modo Off-Peak ofrece generación ilimitada de videos gratuita sin gastar créditos. Las cuentas nuevas reciben créditos iniciales, y hay más disponibles mediante inicios de sesión diarios, suscripciones y eventos en la plataforma.

Lumiere es un modelo de difusión de texto a video de Google Research diseñado para sintetizar videos con movimiento realista, diverso y coherente. La página del proyecto muestra ejemplos de resultados para texto a video, imagen a video, generación estilizada, estilización de videos, cinemagraphs y reparación de videos.

Su arquitectura Space-Time U-Net genera un clip completo en una sola pasada del modelo, en lugar de crear fotogramas clave distantes y rellenar los huecos con superresolución temporal. El modelo utiliza muestreo ascendente y descendente espacial y temporal y se basa en una columna vertebral preentrenada de difusión de texto a imagen para producir videos a velocidad de cuadro completo en múltiples escalas espacio-temporales.

El sitio es una demostración de investigación y un complemento del artículo, no una aplicación para consumidores. Está dirigido a investigadores, ingenieros y creadores que desean estudiar la difusión de videos de última generación y ver lo que el modelo puede hacer en tareas de generación y edición.