Farm3D vs Text-To-4D

Farm3D est une méthode de recherche pour la reconstruction 3D monoculaire d'animaux articulés, développée à l'Université d'Oxford et publiée à 3DV 2024. Vous lui fournissez une photo d'un cheval, d'une vache ou d'un mouton, et elle restitue en quelques secondes une forme 3D complète avec texture, sans entraînement sur des photographies réelles. La page du projet documente l'approche, présente des démonstrations de reconstruction et propose des liens vers le code et le jeu de données de référence Animodel.

La plupart des générateurs 3D nécessitent de grands ensembles de données 3D étiquetées ou des captures multi-vues. Farm3D s'entraîne entièrement sur des vues synthétiques produites par Stable Diffusion, puis utilise le même modèle de diffusion comme critique lors de l'apprentissage. Cela lui permet de récupérer des détails fins comme les pattes et les oreilles sur des catégories qu'il n'a jamais vues en images réelles, ce qui est inhabituel pour les pipelines de reconstruction monoculaire qui reposent sur une supervision du monde réel.

Les chercheurs étudiant la forme 3D articulée, les ingénieurs en vision par ordinateur développant des pipelines d'actifs animaliers, et les artistes 3D explorant la synthèse contrôlable trouveront les démonstrations et le code ouvert utiles. La méthode prend également en charge le relighting, l'échange de textures entre modèles de même catégorie, et l'animation squelettique une fois la forme générée.

Text-To-4D est un projet de recherche de Meta AI (MAV3D) qui génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles. La méthode utilise un Neural Radiance Field dynamique en 4D optimisé pour la cohérence d'apparence, de densité et de mouvement en interrogeant un modèle de diffusion texte-vidéo.

Contrairement aux générateurs 3D statiques qui produisent un seul maillage, Text-To-4D crée des scènes que l'on peut visualiser sous n'importe quel angle de caméra et intégrer dans d'autres environnements 3D. L'approche ne nécessite pas de données d'entraînement 3D ou 4D ; le modèle texte-vidéo sous-jacent est entraîné uniquement sur des paires texte-image et des vidéos non étiquetées.

La page du projet propose des exemples de démonstration pour des invites texte-vers-4D comme « un corgi jouant avec une balle » et des conversions image-vers-4D à partir de photos fixes. Il s'agit d'une vitrine de recherche, non d'un produit commercial avec une API publique ou une inscription. Les chercheurs et artistes 3D intéressés par la génération de scènes dynamiques basées sur NeRF peuvent consulter l'article et les exemples sur le site.