Farm3D vs DeepMotion

Farm3D est une méthode de recherche pour la reconstruction 3D monoculaire d'animaux articulés, développée à l'Université d'Oxford et publiée à 3DV 2024. Vous lui fournissez une photo d'un cheval, d'une vache ou d'un mouton, et elle restitue en quelques secondes une forme 3D complète avec texture, sans entraînement sur des photographies réelles. La page du projet documente l'approche, présente des démonstrations de reconstruction et propose des liens vers le code et le jeu de données de référence Animodel.

La plupart des générateurs 3D nécessitent de grands ensembles de données 3D étiquetées ou des captures multi-vues. Farm3D s'entraîne entièrement sur des vues synthétiques produites par Stable Diffusion, puis utilise le même modèle de diffusion comme critique lors de l'apprentissage. Cela lui permet de récupérer des détails fins comme les pattes et les oreilles sur des catégories qu'il n'a jamais vues en images réelles, ce qui est inhabituel pour les pipelines de reconstruction monoculaire qui reposent sur une supervision du monde réel.

Les chercheurs étudiant la forme 3D articulée, les ingénieurs en vision par ordinateur développant des pipelines d'actifs animaliers, et les artistes 3D explorant la synthèse contrôlable trouveront les démonstrations et le code ouvert utiles. La méthode prend également en charge le relighting, l'échange de textures entre modèles de même catégorie, et l'animation squelettique une fois la forme générée.

DeepMotion crée des animations de personnages 3D à partir de descriptions textuelles ou de vidéos de référence via un navigateur, sans nécessiter de combinaison de capture de mouvement. Ses deux produits, SayMotion et Animate 3D, transforment des descriptions de mouvements écrites ou des clips MP4, MOV et AVI téléchargés en données de squelette exportables pour les pipelines de jeux et de films. Les fichiers de sortie sont au format FBX, BVH, GLB ou MP4 et peuvent être réaffectés à des personnages personnalisés.

La capture de mouvement traditionnelle nécessite du matériel spécialisé et un espace de studio. DeepMotion exécute un suivi corporel complet sans marqueurs dans le cloud, permettant ainsi aux studios indépendants et aux animateurs solo de produire des chorégraphies de combat ou des mouvements de danse à partir d’une vidéo prise au téléphone. SayMotion ajoute une peinture générative pour étendre ou fusionner les mouvements au-delà des bibliothèques standards, ce que les sites d’animations stock ne peuvent égaler sans montage manuel.

Les développeurs de jeux, artistes XR, étudiants en cinéma et enseignants l’utilisent pour prototyper les mouvements des personnages avant de s’engager dans une phase complète de rigging. Le programme de crédits d’animation gratuit permet aux utilisateurs de récupérer des crédits en étiquetant des descriptions de mouvements ou en corrigeant des poses dans l’éditeur Rotoscope.