Draw3D vs Text-To-4D

Draw3D est une boîte à outils de génération 3D et d'images qui transforme des croquis et des maquettes spatiales en rendus photoréalistes et en vidéos cinématographiques. Vous dessinez sur une toile 2D ou placez des figurines dans l'espace 3D, lancez la génération, et le modèle respecte votre composition au lieu de deviner uniquement à partir d'une invite textuelle.

Les outils texte-vers-image vous obligent à décrire la perspective et la mise en page avec des mots. Draw3D part de vos lignes et maquettes 3D, puis ajoute la conversion storyboard en vidéo, la retouche IA, la conversion sculpture en photo, et un agrandissement jusqu'à 8x pour les exports de production. Ce flux de travail convient aux réalisateurs, architectes et designers produits qui pensent déjà en cadres et volumes.

Plus de 80 000 créateurs ont utilisé la plateforme avec 7,2 millions d'images créées, selon les statistiques de la page d'accueil. Les comptes gratuits incluent 5 générations par mois ; les forfaits payants commencent à 9 $ par mois pour 120 générations avec mode galerie privée et droits commerciaux à tous les niveaux.

Text-To-4D est un projet de recherche de Meta AI (MAV3D) qui génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles. La méthode utilise un Neural Radiance Field dynamique en 4D optimisé pour la cohérence d'apparence, de densité et de mouvement en interrogeant un modèle de diffusion texte-vidéo.

Contrairement aux générateurs 3D statiques qui produisent un seul maillage, Text-To-4D crée des scènes que l'on peut visualiser sous n'importe quel angle de caméra et intégrer dans d'autres environnements 3D. L'approche ne nécessite pas de données d'entraînement 3D ou 4D ; le modèle texte-vidéo sous-jacent est entraîné uniquement sur des paires texte-image et des vidéos non étiquetées.

La page du projet propose des exemples de démonstration pour des invites texte-vers-4D comme « un corgi jouant avec une balle » et des conversions image-vers-4D à partir de photos fixes. Il s'agit d'une vitrine de recherche, non d'un produit commercial avec une API publique ou une inscription. Les chercheurs et artistes 3D intéressés par la génération de scènes dynamiques basées sur NeRF peuvent consulter l'article et les exemples sur le site.