Última actualización 06-30-2026
Categoría:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Lumiere
Lumiere es un modelo de difusión de texto a video de Google Research diseñado para sintetizar videos con movimiento realista, diverso y coherente. La página del proyecto muestra ejemplos de resultados para texto a video, imagen a video, generación estilizada, estilización de videos, cinemagraphs y reparación de videos.
Su arquitectura Space-Time U-Net genera un clip completo en una sola pasada del modelo, en lugar de crear fotogramas clave distantes y rellenar los huecos con superresolución temporal. El modelo utiliza muestreo ascendente y descendente espacial y temporal y se basa en una columna vertebral preentrenada de difusión de texto a imagen para producir videos a velocidad de cuadro completo en múltiples escalas espacio-temporales.
El sitio es una demostración de investigación y un complemento del artículo, no una aplicación para consumidores. Está dirigido a investigadores, ingenieros y creadores que desean estudiar la difusión de videos de última generación y ver lo que el modelo puede hacer en tareas de generación y edición.
Convierte indicaciones de texto en clips de movimiento completo con docenas de muestras de salida en la página de demostración
Anima una imagen fija en video cuando la combinas con una breve descripción de texto
La generación estilizada copia el estilo de una imagen de referencia usando pesos ajustados finamente de texto a imagen
La estilización de video aplica métodos de edición de imágenes basados en texto cuadro por cuadro para lograr una apariencia coherente
El modo cinemagraph anima solo una región enmascarada mientras el resto de la imagen permanece estático
El repintado de video rellena áreas enmascaradas o edita ropa y accesorios a partir de indicaciones de texto
Genera toda la duración del video en una sola pasada con un Space-Time U-Net en lugar de unir fotogramas clave
Cubre múltiples tareas en un solo modelo: texto a video, imagen a video, retoque e ilustración estilizada
La galería de demostración muestra una amplia variedad de indicaciones, estilos y ejemplos de edición con entradas visibles
El artículo de investigación publicado y los créditos de los autores facilitan la verificación del enfoque técnico
No hay interfaz pública para generar videos personalizados; el sitio es solo una vitrina de investigación.
Las salidas del modelo se muestran en baja resolución según el diseño del artículo, que es de baja resolución a tasa de cuadro completa.
No hay precios, canal de soporte ni hoja de ruta de producto para equipos que busquen implementarlo en producción.
¿Quién desarrolló Lumiere?
Lumiere fue desarrollado por investigadores de Google Research, con colaboradores del Instituto Weizmann, la Universidad de Tel-Aviv y el Technion. La página del proyecto lista el equipo completo de autores y acredita a Google Research como la institución principal.
¿Está Lumiere disponible como una aplicación pública o API?
No. Lumiere se presenta como un proyecto de Google Research con una galería de demostración y un enlace al artículo. El sitio no ofrece registro, descargas ni una API para generar tus propios videos.
¿Qué arquitectura utiliza Lumiere?
Lumiere utiliza una Space-Time U-Net que genera la duración temporal completa de un video en una sola pasada. Aplica muestreos espaciales y temporales hacia abajo y hacia arriba, y se basa en un modelo de difusión preentrenado de texto a imagen como su columna vertebral.
¿Puede Lumiere convertir una imagen en un video?
Sí. Lumiere soporta la generación de video a partir de imagen. La página de demostración muestra imágenes fijas acompañadas de indicaciones de texto que se animan en clips de video cortos.
¿Soporta Lumiere el video inpainting y la edición?
Sí. Lumiere demuestra video inpainting que rellena regiones enmascaradas en el metraje y ediciones dirigidas por texto, como cambiar ropa, accesorios o poses dentro de una secuencia de video.
¿Dónde puedo leer el artículo de investigación de Lumiere?
El artículo de Lumiere está publicado en arXiv en https://arxiv.org/abs/2401.12945. La página del proyecto enlaza directamente a ese artículo bajo Leer Artículo.