Farm3D vs Make3D

Farm3D est un outil développé par l'Université d'Oxford qui crée des modèles d'animaux en 3D articulés à partir d'une seule image. Il utilise une approche unique en exploitant un générateur d'images basé sur la diffusion en 2D, comme Stable Diffusion, pour entraîner un réseau capable de reconstruire des formes 3D détaillées sans nécessiter de données 3D réelles. Cette méthode permet à Farm3D de générer des modèles 3D avec des détails fins tels que les jambes et les oreilles, même s'il n'a pas été entraîné sur des images réelles.

L'outil prend en charge la synthèse 3D contrôlable, permettant aux utilisateurs d'ajuster l'éclairage, de changer les textures entre des modèles de la même catégorie d'animaux, et d'animer les formes. Il fonctionne avec des images réelles ainsi qu'avec des images générées par Stable Diffusion, produisant des assets 3D en quelques secondes. Farm3D décompose les images d'entrée en composants tels que la forme articulée, l'apparence, le point de vue et la direction de la lumière, offrant aux utilisateurs un contrôle sur le modèle final.

Farm3D introduit également le dataset Animodel, une collection de maillages 3D texturés d'animaux articulés tels que les chevaux, les vaches et les moutons, avec des poses réalistes. Ce dataset sert de référence pour évaluer la qualité de la reconstruction 3D à partir d'une seule vue pour les animaux articulés.

Cet outil est idéal pour les chercheurs, artistes numériques et développeurs intéressés par la modélisation, l'animation et la synthèse d'animaux en 3D, sans nécessiter de données d'entraînement 3D exhaustives. Sa nouvelle utilisation des modèles de diffusion pour la supervision virtuelle et l'évaluation le distingue des méthodes traditionnelles de reconstruction 3D.

L'approche de Farm3D réduit le besoin d'annotations 3D coûteuses en utilisant des vues synthétiques générées et critiquées par des modèles de diffusion durant l'entraînement. Cela aboutit à un réseau de reconstruction monoculaire rapide, flexible et capable de produire des modèles 3D d'animaux de haute qualité avec des fonctionnalités contrôlables.

Convertit les images 2D en images ou intégres 3D.