Sloyd vs Text-To-4D

Sloyd est un outil de modélisation 3D basé sur le web qui simplifie la création de modèles 3D détaillés en utilisant des entrées textuelles et d'images pilotées par intelligence artificielle. Il s'adresse aux développeurs de jeux, designers et amateurs d'impression 3D en proposant une génération rapide et intuitive de modèles sans nécessiter de compétences avancées en modélisation. Les utilisateurs peuvent générer des assets 3D uniques à partir de prompts textuels ou d'images, personnaliser les modèles avec des préréglages de style et contrôler le nombre de polygones pour répondre aux besoins spécifiques de jeux ou d'animations. La plateforme combine l'IA générative avec des modèles paramétriques, permettant des itérations rapides et des modifications faciles tout en garantissant une topologie optimisée, prête pour le jeu. Sloyd supporte aussi l'importation de modèles dans des plateformes comme Roblox pour le rigging et l'animation, élargissant ainsi son usage pour la création de personnages. Son application web et son SDK offrent un accès flexible aussi bien pour les amateurs que pour les professionnels, avec une API qui intègre la génération d'actifs 3D pilotée par l'IA directement dans les jeux ou les applications. Cette approche réduit le temps de modélisation de plusieurs heures à quelques secondes, rendant la création 3D plus accessible et efficace.

Text-To-4D, également connu sous le nom de MAV3D (Make-A-Video3D), génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles simples. Il utilise un champ de radiance neuronal dynamique 4D (NeRF) optimisé pour une cohérence dans l'apparence de la scène, la densité et le mouvement en tirant parti d'un modèle de diffusion Text-to-Video. Cela permet de créer des vidéos dynamiques pouvant être visualisées sous n'importe quel angle de caméra et intégrées dans divers environnements 3D.

Contrairement aux méthodes traditionnelles de génération 3D, MAV3D ne requiert aucune donnée d'entraînement 3D ou 4D. Il s'appuie plutôt sur un modèle Text-to-Video entraîné uniquement sur des paires texte-image et des vidéos non étiquetées, le rendant accessible aux utilisateurs ne disposant pas de jeux de données spécialisés. Cette approche ouvre de nouvelles possibilités pour les créateurs, développeurs et chercheurs souhaitant générer du contenu 3D immersif à partir de simples invites textuelles.

L'outil est destiné à un large public, incluant les développeurs de jeux, les animateurs et les créateurs de contenu en réalité virtuelle qui veulent produire rapidement des scènes 3D dynamiques sans modélisation ou animation manuelle. Il offre une valeur unique en combinant la génération basée sur le texte avec la sortie de scènes 3D dynamiques, utilisables dans des applications interactives ou pour la narration visuelle.

Techniquement, la méthode intègre un NeRF 4D avec un modèle de diffusion Text-to-Video pour garantir la cohérence du mouvement et de l'apparence dans le temps et l'espace. Cela aboutit à des scènes dynamiques fluides et réalistes, explorables sous plusieurs points de vue. Le système améliore les précédents benchmarks en produisant des vidéos 3D de meilleure qualité et plus cohérentes à partir d’un texte.

Dans l’ensemble, Text-To-4D se démarque comme la première méthode connue pour générer des scènes 3D entièrement dynamiques à partir de texte, comblant le gap entre la génération vidéo basée sur le texte et la synthèse de scènes 3D. Il offre une solution flexible et innovante pour créer du contenu immersif sans nécessiter de données 3D complexes ou d'animation manuelle.