Farm3D vs Make3D

Farm3D es una herramienta desarrollada por la Universidad de Oxford que crea modelos animales articulados en 3D a partir de una sola imagen. Utiliza un enfoque único al aprovechar un generador de imágenes basado en difusión 2D, como Stable Diffusion, para entrenar una red que reconstruye formas detalladas en 3D sin necesidad de datos 3D reales. Este método permite que Farm3D genere modelos en 3D con detalles finos, como patas y orejas, aunque no haya sido entrenada con imágenes reales.

La herramienta soporta una síntesis en 3D controlable, permitiendo a los usuarios ajustar la iluminación, intercambiar texturas entre modelos de la misma categoría de animal y animar las formas. Funciona tanto con imágenes reales como con imágenes generadas por Stable Diffusion, produciendo activos en 3D en segundos. Farm3D descompone las imágenes de entrada en componentes como forma articulada, apariencia, punto de vista y dirección de la luz, ofreciendo a los usuarios control sobre el modelo final.

Farm3D también presenta el conjunto de datos Animodel, una colección de mallas en 3D texturizadas de animales articulados como caballos, vacas y ovejas, con poses realistas. Este conjunto de datos sirve como referencia para evaluar la calidad de la reconstrucción 3D de vista única para animales articulados.

Esta herramienta es ideal para investigadores, artistas digitales y desarrolladores interesados en el modelado, la animación y la síntesis en 3D de animales, sin requerir datos de entrenamiento en 3D extensos. Su uso innovador de modelos de difusión para supervisión virtual y puntuación la diferencia de los métodos tradicionales de reconstrucción en 3D.

El enfoque de Farm3D reduce la necesidad de anotaciones 3D costosas al usar vistas sintéticas generadas y criticadas por modelos de difusión durante el entrenamiento. Esto da lugar a una red de reconstrucción monocular que es rápida, flexible y capaz de producir modelos en 3D de alta calidad con características controlables.

Convierte imágenes 2D en imágenes o incrustaciones 3D.