Lumiere vs Synthesia

Lumiere est un modèle de diffusion de texte à vidéo développé par Google Research, conçu pourSynthétiser des vidéos avec un mouvement réaliste, diversifié et cohérent. La page du projet présente des exemples de sorties pour la génération de vidéo à partir de texte, d'image à vidéo, la génération stylisée, la stylisation de vidéos, les cinémagraphes, et la retouche vidéo.

Son architecture Space-Time U-Net génère un clip vidéo entier en une seule passe du modèle, plutôt que de créer des images-clés distantes et de combler les gaps avec une super-résolution temporelle. Le modèle utilise un échantillonnage spatial et temporel à la montée et à la descente, et s'appuie sur une base de diffusion text-to-image pré-entraînée pour produire des vidéos en fréquence d'image complète sur plusieurs échelles espace-temps.

Le site est une démonstration de recherche et accompagne un article, ce n'est pas une application destinée aux consommateurs. Il s'adresse aux chercheurs, ingénieurs et créateurs qui souhaitent étudier l'état de l'art en diffusion vidéo et voir ce que le modèle peut réaliser en termes de génération et de montage.

Synthesia transforme des scripts en vidéos présentées par des avatars grâce à plus de 240 avatars prédéfinis, des voix clonées et un doublage synchronisé sur les lèvres dans plus de 160 langues. Vous écrivez le texte, choisissez un avatar et exportez en MP4 ou SCORM sans caméras, studios ni comédiens voix. Le plan Basic inclut 10 minutes de vidéo générée par mois avec 9 avatars prédéfinis.

Là où la plupart des outils de vidéo avec avatars s'arrêtent à l'exportation, Synthesia permet de créer, localiser, collaborer et publier dans un seul espace de travail. Les vidéos intégrées se mettent à jour automatiquement lorsque vous modifiez la source, les packages SCORM sont livrés avec des versions traduites, et les équipes Enterprise bénéficient de Brand Kits ainsi que de SAML/SSO. Les sessions de jeu de rôle ajoutent une nouvelle dimension : entraînez-vous aux conversations de vente ou de support avec des avatars interactifs qui évaluent vos réponses.

Les équipes L&D l'utilisent pour la conformité et l'intégration à grande échelle. Les groupes d'aide à la vente diffusent des mises à jour de pitch en quelques minutes au lieu de planifier des tournages. Les équipes marketing et communication interne localisent une vidéo principale en des dizaines de langues grâce à une traduction en un clic. Plus de 50 000 entreprises l'utilisent, y compris une grande part du Fortune 100.