Farm3D vs DeepMotion

Farm3D é um método de pesquisa para reconstrução 3D monocular de animais articulados, desenvolvido na Universidade de Oxford e publicado no 3DV 2024. Você fornece uma foto de um cavalo, vaca ou ovelha e ele retorna uma forma 3D completa com textura em segundos, sem treinamento em fotografias reais. A página do projeto documenta a abordagem, mostra demonstrações de reconstrução e fornece links para o código e o conjunto de dados de referência Animodel.

A maioria dos geradores 3D necessita de grandes conjuntos de dados 3D rotulados ou capturas multivista. Farm3D treina inteiramente em vistas sintéticas produzidas pelo Stable Diffusion, usando o mesmo modelo de difusão como crítico durante o aprendizado. Isso permite recuperar detalhes finos como pernas e orelhas em categorias que nunca viu em imagens reais, o que é incomum para pipelines de reconstrução monocular que dependem de supervisão do mundo real.

Pesquisadores que estudam formas 3D articuladas, engenheiros de visão computacional prototipando pipelines de ativos animais e artistas 3D explorando síntese controlável acharão as demonstrações e o código aberto úteis. O método também suporta relighting, troca de textura entre modelos da mesma categoria e animação esquelética após a geração da forma.

DeepMotion cria animações de personagens 3D a partir de comandos de texto ou vídeo de referência através do navegador, sem necessidade de traje de captura de movimento. Seus dois produtos, SayMotion e Animate 3D, transformam descrições de movimentos escritos ou clipes MP4, MOV e AVI enviados em dados de esqueleto exportáveis para pipelines de jogos e filmes. A saída é enviada como arquivos FBX, BVH, GLB ou MP4 que você pode retargetar para personagens personalizados.

A captura de movimento tradicional requer hardware especializado e espaço de estúdio. DeepMotion executa rastreamento corporal completo sem marcadores na nuvem, permitindo que estúdios independentes e animadores solo produzam coreografias de luta ou passos de dança a partir de um vídeo de celular. SayMotion adiciona pintura generativa para estender ou mesclar movimentos além das bibliotecas padrão, algo que sites de animação padrão não conseguem sem edição manual.

Desenvolvedores de jogos, artistas XR, estudantes de cinema e educadores usam para prototipar movimentos de personagens antes de se comprometerem com uma rigagem completa. O Programa de Créditos de Animação Gratuitos permite que usuários recuperem créditos rotulando descrições de movimento ou corrigindo poses no editor Rotoscope.