Dernière mise à jour 08-13-2026
Catégorie:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Farm3D
Farm3D est une méthode de recherche pour la reconstruction 3D monoculaire d'animaux articulés, développée à l'Université d'Oxford et publiée à 3DV 2024. Vous lui fournissez une photo d'un cheval, d'une vache ou d'un mouton, et elle restitue en quelques secondes une forme 3D complète avec texture, sans entraînement sur des photographies réelles. La page du projet documente l'approche, présente des démonstrations de reconstruction et propose des liens vers le code et le jeu de données de référence Animodel.
La plupart des générateurs 3D nécessitent de grands ensembles de données 3D étiquetées ou des captures multi-vues. Farm3D s'entraîne entièrement sur des vues synthétiques produites par Stable Diffusion, puis utilise le même modèle de diffusion comme critique lors de l'apprentissage. Cela lui permet de récupérer des détails fins comme les pattes et les oreilles sur des catégories qu'il n'a jamais vues en images réelles, ce qui est inhabituel pour les pipelines de reconstruction monoculaire qui reposent sur une supervision du monde réel.
Les chercheurs étudiant la forme 3D articulée, les ingénieurs en vision par ordinateur développant des pipelines d'actifs animaliers, et les artistes 3D explorant la synthèse contrôlable trouveront les démonstrations et le code ouvert utiles. La méthode prend également en charge le relighting, l'échange de textures entre modèles de même catégorie, et l'animation squelettique une fois la forme générée.
Reconstruit des formes d'animaux articulés en 3D à partir d'une seule image en quelques secondes
Entraîne sans photos réelles en distillant des vues virtuelles de Stable Diffusion
Factorise chaque instance en forme, albédo, éclairage diffus et ambiant, point de vue et direction de la lumière
Prend en charge la relumination, l'échange de textures entre modèles de même catégorie, et l'animation squelettique sur les actifs générés
Le benchmark Animodel fournit des maillages texturés pour chevaux, vaches et moutons avec des poses articulées réalistes
Article accepté à 3DV 2024 ; code et dataset publiés sur GitHub sous tomasjakab/animodel
Reconstruit un détail articulé précis à partir d'une seule photo sans données d'entraînement d'images réelles.
L'article, le code et le benchmark Animodel sont tous liés depuis la page du projet.
Les actifs générés supportent la relumination, l'échange de textures et l'animation dans les démos publiées.
Projet de recherche, pas une application hébergée ou une API à laquelle vous pouvez vous inscrire et exécuter dans un navigateur.
Concentré sur des catégories d'animaux articulés comme les chevaux, vaches et moutons plutôt que sur des objets généraux.
L'exécution du code nécessite la configuration du dépôt GitHub et de l'environnement de calcul localement.
Que reconstruit Farm3D à partir d'une photo ?
Farm3D reconstruit un animal 3D articulé à partir d'une seule image d'entrée. La méthode produit la forme, la texture et les contrôles de pose, et la page du projet montre des reconstructions de chevaux, vaches et moutons avec des détails fins des pattes et des oreilles.
Farm3D est-il gratuit ?
Oui, Farm3D est un logiciel de recherche gratuit. La page du projet renvoie à un article arXiv, une entrée BibTeX et un dépôt GitHub avec le code et le benchmark Animodel sur github.com/tomasjakab/animodel.
Farm3D a-t-il besoin d'images d'entraînement réelles ?
Non. Farm3D apprend les catégories entièrement à partir de vues synthétiques générées via Stable Diffusion. Pendant l'entraînement, il échantillonne aussi des vues d'instances synthétiques que Stable Diffusion critique pour guider la qualité de la reconstruction.
Que peut-on faire après que Farm3D génère un actif 3D ?
Farm3D produit des actifs 3D contrôlables que vous pouvez rééclairer, animer ou changer de texture avec un autre modèle de la même catégorie. La page du projet montre des démonstrations d'animation, de rééclairage et d'échange de textures sur des formes générées.
Qu'est-ce que le dataset Animodel dans Farm3D ?
Animodel est un dataset d'animaux 3D articulés fourni avec Farm3D pour évaluer la reconstruction à vue unique. Il comprend des maillages texturés professionnellement de chevaux, vaches et moutons dans des poses articulées réalistes.
Où Farm3D a-t-il été publié ?
Farm3D a été développé à l'Université d'Oxford et publié à 3DV 2024. Le préprint arXiv s'intitule Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion, arXiv:2304.10535.