Farm3D vs Make3D

Farm3D é um método de pesquisa para reconstrução 3D monocular de animais articulados, desenvolvido na Universidade de Oxford e publicado no 3DV 2024. Você fornece uma foto de um cavalo, vaca ou ovelha e ele retorna uma forma 3D completa com textura em segundos, sem treinamento em fotografias reais. A página do projeto documenta a abordagem, mostra demonstrações de reconstrução e fornece links para o código e o conjunto de dados de referência Animodel.

A maioria dos geradores 3D necessita de grandes conjuntos de dados 3D rotulados ou capturas multivista. Farm3D treina inteiramente em vistas sintéticas produzidas pelo Stable Diffusion, usando o mesmo modelo de difusão como crítico durante o aprendizado. Isso permite recuperar detalhes finos como pernas e orelhas em categorias que nunca viu em imagens reais, o que é incomum para pipelines de reconstrução monocular que dependem de supervisão do mundo real.

Pesquisadores que estudam formas 3D articuladas, engenheiros de visão computacional prototipando pipelines de ativos animais e artistas 3D explorando síntese controlável acharão as demonstrações e o código aberto úteis. O método também suporta relighting, troca de textura entre modelos da mesma categoria e animação esquelética após a geração da forma.

Converte imagens 2D em imagens 3D ou incorporação.