Farm3D vs Make3D

Farm3D es un método de investigación para la reconstrucción 3D de animales articulados a partir de una sola vista, desarrollado en la Universidad de Oxford y publicado en 3DV 2024. Le proporcionas una foto de un caballo, vaca o oveja y devuelve una forma 3D completa con textura en segundos, sin necesidad de entrenamiento con fotografías reales. La página del proyecto documenta el enfoque, muestra demostraciones de reconstrucción y enlaza al código y al conjunto de datos de referencia Animodel.

La mayoría de los generadores 3D requieren grandes conjuntos de datos 3D etiquetados o capturas multivista. Farm3D se entrena completamente con vistas sintéticas producidas por Stable Diffusion, y luego utiliza el mismo modelo de difusión como crítico durante el aprendizaje. Esto le permite recuperar detalles finos como patas y orejas en categorías que nunca vio en imágenes reales, lo cual es inusual para los procesos de reconstrucción monocular que dependen de supervisión del mundo real.

Investigadores que estudian formas 3D articuladas, ingenieros de visión por computadora que prototipan flujos de trabajo para activos animales y artistas 3D que exploran síntesis controlable encontrarán útiles las demostraciones y el código abierto. El método también soporta reiluminación, intercambio de texturas entre modelos de la misma categoría y animación esquelética una vez que se genera una forma.

Convierte imágenes 2D en imágenes o incrustaciones 3D.