Dernière mise à jour 06-30-2026
Catégorie:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Lumiere
Lumiere est un modèle de diffusion de texte à vidéo développé par Google Research, conçu pourSynthétiser des vidéos avec un mouvement réaliste, diversifié et cohérent. La page du projet présente des exemples de sorties pour la génération de vidéo à partir de texte, d'image à vidéo, la génération stylisée, la stylisation de vidéos, les cinémagraphes, et la retouche vidéo.
Son architecture Space-Time U-Net génère un clip vidéo entier en une seule passe du modèle, plutôt que de créer des images-clés distantes et de combler les gaps avec une super-résolution temporelle. Le modèle utilise un échantillonnage spatial et temporel à la montée et à la descente, et s'appuie sur une base de diffusion text-to-image pré-entraînée pour produire des vidéos en fréquence d'image complète sur plusieurs échelles espace-temps.
Le site est une démonstration de recherche et accompagne un article, ce n'est pas une application destinée aux consommateurs. Il s'adresse aux chercheurs, ingénieurs et créateurs qui souhaitent étudier l'état de l'art en diffusion vidéo et voir ce que le modèle peut réaliser en termes de génération et de montage.
Transforme des invites textuelles en clips entièrement animés avec des dizaines d'exemples sur la page de démonstration
Anime une image fixe en vidéo lorsqu'elle est associée à une courte description textuelle
La génération stylisée reproduit le style d'une image de référence en utilisant des poids text-to-image ajustés finement
La stylisation vidéo applique des méthodes d'édition d'image basées sur du texte image par image pour un rendu cohérent
Le mode cinémagraphe anime uniquement une zone masquée tandis que le reste de l'image reste immobile
Le video inpainting remplit les zones masquées ou modifie les vêtements et accessoires à partir des invites textuelles
Génère la durée totale de la vidéo en un seul passage avec un Space-Time U-Net au lieu de l'assemblage d'images-clés
Couvre plusieurs tâches avec un seul modèle : texte-à-vidéo, image-à-vidéo, inpainting et stylisation
La galerie de démonstration présente une large gamme de prompts, de styles et d'exemples d'édition avec les entrées visibles
Un article de recherche publié et les crédits des auteurs facilitent la vérification de l'approche technique
Pas d'interface publique pour générer des vidéos personnalisées ; le site est uniquement une vitrine de recherche
Sorties du modèle affichées en basse résolution conformément à la conception à faible résolution et plein débit d'images décrite dans l'article
Pas de tarification, de canal de support ni de feuille de route produit pour les équipes souhaitant le déployer en production
Qui a développé Lumiere ?
Lumiere a été développé par des chercheurs de Google Research, en collaboration avec le Weizmann Institute, l'Université de Tel-Aviv, et le Technion. La page du projet liste l'équipe complète des auteurs et crédite Google Research en tant qu'institution principale.
Lumiere est-il disponible en tant qu'application publique ou API ?
Non. Lumiere est présenté comme un projet de Google Research avec une galerie de démonstrations et un lien vers l'article. Le site ne propose ni inscription, ni téléchargement, ni API pour générer vos propres vidéos.
Quelle architecture utilise Lumiere ?
Lumiere utilise un Space-Time U-Net qui génère la durée temporelle complète d’une vidéo en un seul passage. Il applique un sous-échantillonnage et sur-échantillonnage spatial et temporel, et s’appuie sur un modèle de diffusion text-to-image pré-entraîné comme base.
Lumiere peut-il transformer une image en vidéo ?
Oui. Lumiere prend en charge la génération d’images en vidéos. La page de démonstration montre des images fixes associées à des invites textuelles qui sont animées en courts clips vidéo.
Lumiere prend-il en charge l'inpainting vidéo et le montage ?
Oui. Lumiere démontre l’inpainting vidéo qui remplit les régions masquées dans des séquences, ainsi que des modifications guidées par texte telles que changer les vêtements, accessoires ou poses au sein d’une séquence vidéo.
Où puis-je lire l'article de recherche sur Lumiere ?
L'article Lumiere est publié sur arXiv à l’adresse https://arxiv.org/abs/2401.12945. La page d’accueil du projet contient un lien direct vers cet article sous « Read Paper ».