Vidu vs Lumiere

Vidu est une plateforme tout-en-un pour générer des images et des vidéos à partir de texte, d'images fixes ou de photos de référence. Elle est conçue pour les créateurs indépendants et les équipes de production qui souhaitent transformer des idées en clips finis sans passer par une pipeline de post-traitement traditionnelle. Les modes principaux sont texte-à-vidéo, image-à-vidéo, et référence-à-vidéo, avec une sortie pouvant atteindre 1080p.

Le référence-à-vidéo est là où Vidu se démarque. Téléchargez jusqu'à sept images pour maintenir la cohérence des personnages, objets, et scènes à travers un clip, ou enregistrez des éléments dans Mes Références pour une réutilisation ultérieure dans d'autres projets. Le modèle Vidu Q3 ajoute de l'audio natif lors de la même génération, permettant que le dialogue, la narration, les effets sonores, et la musique accompagnent l'image plutôt que d'être séparés dans une étape de montage distincte.

Les créateurs travaillant dans l'anime, la publicité, le contenu social, et le court-métrage utilisent Vidu pour tout, des clips viraux basés sur des modèles aux prises narratives de 16 secondes avec un contrôle de la caméra au niveau de chaque image. Les studios et les marketeurs utilisent également l'image-à-vidéo pour animer des plans produits ou changer les arrière-plans des publicités tout en conservant les sujets sur le modèle.

Le Mode Hors-Peak offre une génération de vidéos illimitée et gratuite sans utiliser de crédits. Les nouveaux comptes reçoivent des crédits de départ, avec davantage disponibles via les connexions quotidiennes, les abonnements, et les événements de la plateforme.

Lumiere est un modèle de diffusion de texte à vidéo développé par Google Research, conçu pourSynthétiser des vidéos avec un mouvement réaliste, diversifié et cohérent. La page du projet présente des exemples de sorties pour la génération de vidéo à partir de texte, d'image à vidéo, la génération stylisée, la stylisation de vidéos, les cinémagraphes, et la retouche vidéo.

Son architecture Space-Time U-Net génère un clip vidéo entier en une seule passe du modèle, plutôt que de créer des images-clés distantes et de combler les gaps avec une super-résolution temporelle. Le modèle utilise un échantillonnage spatial et temporel à la montée et à la descente, et s'appuie sur une base de diffusion text-to-image pré-entraînée pour produire des vidéos en fréquence d'image complète sur plusieurs échelles espace-temps.

Le site est une démonstration de recherche et accompagne un article, ce n'est pas une application destinée aux consommateurs. Il s'adresse aux chercheurs, ingénieurs et créateurs qui souhaitent étudier l'état de l'art en diffusion vidéo et voir ce que le modèle peut réaliser en termes de génération et de montage.