DreamFusion vs Text-To-4D

Découvrez DreamFusion, la plateforme révolutionnaire qui combine la puissance de la synthèse texte-3D avec une technologie de diffusion 2D de pointe. Développé par un effort collaboratif de Google Research et de l'UC Berkeley, DreamFusion vous permet de transformer sans effort des descriptions textuelles en modèles 3D éclatants sans avoir besoin d'ensembles de données à grande échelle ou d'architectures de débruitage 3D complexes.

Utilisant un modèle de diffusion texte-image 2D de pointe comme base fondamentale, DreamFusion introduit une nouvelle perte basée sur la distillation de la densité de probabilité. Cette approche innovante permet une optimisation transparente des champs de radiance neuronale (NeRF) grâce à la descente de gradient, produisant des rendus 3D de haute qualité sous différents angles avec une faible perte. Les modèles 3D résultants offrent des fonctionnalités remarquables telles que la visibilité sous n'importe quelle perspective, des textures rééclairables dans diverses conditions d'éclairage et la possibilité d'être composites de manière transparente dans divers environnements 3D.

DreamFusion met l'accent sur la facilité d'utilisation et l'accessibilité, ne nécessitant aucune donnée de formation 3D ni modification du modèle de diffusion d'image existant. En exploitant les modèles de diffusion d'images pré-entraînés comme un préalable robuste, DreamFusion démontre la puissance de ces modèles au-delà des simples applications 2D. Explorez la galerie de DreamFusion pour découvrir la gamme d'objets et de scènes qu'il peut générer, et franchissez l'étape passionnante de générer votre propre modèle 3D à partir de texte dès aujourd'hui !

Meta présente Mav3d (Make-A-Video3d), une méthode pour générer des scènes dynamiques tridimensionnelles à partir de descriptions de texte. Notre approche utilise un champ de radiance neuronale dynamique 4D (NERF), qui est optimisé pour l'apparence, la densité et la cohérence du mouvement de la scène en interrogeant un modèle de diffusion de texte à vidéo (T2V).

La sortie vidéo dynamique générée à partir du texte fourni peut être visualisée à partir de n'importe quel emplacement et angle de la caméra, et peut être composée dans n'importe quel environnement 3D. Mav3d ne nécessite aucune donnée 3D ou 4D et le modèle T2V est formé uniquement sur les paires d'image texte et les vidéos non marquées.