DreamFusion vs DeepMotion

DreamFusion transforme des descriptions textuelles en modèles 3D détaillés en utilisant un modèle de diffusion 2D préentraîné pour la génération d'images à partir de texte. Il contourne la nécessité de grands ensembles de données 3D en optimisant les Neural Radiance Fields (NeRF) grâce à une nouvelle perte appelée Score Distillation Sampling. Cette méthode permet à DreamFusion de générer des scènes 3D pouvant être vues sous tous les angles, rééclairées sous différentes lumières, et intégrées dans divers environnements 3D.

L'outil s'adresse aux créateurs et développeurs souhaitant produire rapidement des assets 3D sans nécessiter une expertise approfondie en modélisation 3D ni un accès à des données 3D étendues. Il offre une solution pour générer des objets rendant la rééclairage possible, avec une profondeur et des normales de surface précises, améliorant le réalisme dans les scènes virtuelles.

La valeur de DreamFusion réside dans sa capacité à exploiter des modèles de diffusion 2D existants comme Imagen pour guider la synthèse 3D, évitant ainsi la complexité de l'entraînement de nouveaux modèles 3D. Il prend également en charge l'exportation de NeRF en maillages via la méthode marching cubes, facilitant l'utilisation des modèles générés dans des logiciels 3D courants.

Sur le plan technique, DreamFusion utilise Score Distillation Sampling pour optimiser les paramètres 3D afin que les images rendues correspondent aux attentes du modèle de diffusion. Des régularisateurs supplémentaires améliorent la qualité de la géométrie, aboutissant à des formes cohérentes avec des propriétés de surface détaillées.

Cette approche démontre comment les priors de diffusion 2D peuvent dépasser le cadre de l'image pour créer du contenu 3D, ouvrant de nouvelles possibilités pour la génération 3D guidée par texte sans besoin de données ou d’architectures 3D spécialisées.

Les utilisateurs peuvent explorer une galerie d'objets et de scènes diversifiées, mettant en avant la variété des résultats possibles à partir de simples prompts textuels. DreamFusion continue d’évoluer comme une plateforme de recherche reliant texte, diffusion 2D et modélisation 3D.

DeepMotion propose une capture de mouvement alimentée par l'IA et un suivi corporel qui permettent aux utilisateurs de créer rapidement des animations 3D à partir de vidéos via n'importe quel navigateur web. Sa plateforme Animate 3D convertit les vidéos ordinaires en animations de corps entier sans besoin de marqueurs ou de matériel spécial. Cela rend la capture de mouvement accessible aux créateurs indépendants, éducateurs et développeurs de jeux souhaitant donner vie à des personnages numériques avec des mouvements réalistes. La plateforme supporte des personnages personnalisés et s'intègre aux formats 3D populaires, facilitant l'exportation pour les jeux, la réalité virtuelle et les projets d'animation.

DeepMotion inclut également MotionGPT, un outil qui génère des animations à partir de prompts textuels, élargissant ainsi les possibilités créatives pour les utilisateurs souhaitant créer du mouvement sans filmer. L'entreprise construit une grande plateforme d'animation 3D générée par l'IA, axée sur la démocratisation de la création de mouvement de personnages numériques. Les utilisateurs peuvent gagner des crédits d'animation gratuits en étiquetant et en corrigeant des animations, ce qui contribue à améliorer les modèles d'IA.

Le service supporte le suivi facial et des mains, avec des coûts supplémentaires en crédits pour ces fonctionnalités. Il offre également un Rotoscope Pose Editor pour des corrections d'animation image par image, permettant aux utilisateurs d'améliorer la qualité du mouvement et de récupérer des crédits. L'API de DeepMotion facilite l'intégration dans d'autres flux de travail, accelerant les cycles de développement pour les partenaires.

Les plans tarifaires incluent une formule freemium avec des crédits mensuels gratuits pour un usage personnel et des abonnements payants offrant des limites de crédits plus élevées, un traitement prioritaire et une création d'animation illimitée. La plateforme supporte plusieurs formats vidéo d'entrée et permet d'exporter les animations en FBX, BVH, MP4 et GLB. DeepMotion met l'accent sur la facilité d'utilisation, ne nécessitant pas d'équipement spécial, et fournit une documentation complète ainsi qu'un soutien communautaire via Discord.

Globalement, DeepMotion se distingue en rendant la capture de mouvement IA et la génération d'animation accessibles, abordables et flexibles pour une large gamme d'utilisateurs, des amateurs aux professionnels. Sa combinaison de capture vidéo, de texte en animation, et de programmes de crédits offre un écosystème unique pour créer des mouvements humains numériques.