Farm3D vs Text-To-4D

Farm3D es un método de investigación para la reconstrucción 3D de animales articulados a partir de una sola vista, desarrollado en la Universidad de Oxford y publicado en 3DV 2024. Le proporcionas una foto de un caballo, vaca o oveja y devuelve una forma 3D completa con textura en segundos, sin necesidad de entrenamiento con fotografías reales. La página del proyecto documenta el enfoque, muestra demostraciones de reconstrucción y enlaza al código y al conjunto de datos de referencia Animodel.

La mayoría de los generadores 3D requieren grandes conjuntos de datos 3D etiquetados o capturas multivista. Farm3D se entrena completamente con vistas sintéticas producidas por Stable Diffusion, y luego utiliza el mismo modelo de difusión como crítico durante el aprendizaje. Esto le permite recuperar detalles finos como patas y orejas en categorías que nunca vio en imágenes reales, lo cual es inusual para los procesos de reconstrucción monocular que dependen de supervisión del mundo real.

Investigadores que estudian formas 3D articuladas, ingenieros de visión por computadora que prototipan flujos de trabajo para activos animales y artistas 3D que exploran síntesis controlable encontrarán útiles las demostraciones y el código abierto. El método también soporta reiluminación, intercambio de texturas entre modelos de la misma categoría y animación esquelética una vez que se genera una forma.

Text-To-4D es un proyecto de investigación de Meta AI (MAV3D) que genera escenas dinámicas tridimensionales a partir de descripciones de texto. El método utiliza un Campo Neural de Radiancia dinámico 4D optimizado para la apariencia, densidad y consistencia del movimiento mediante la consulta a un modelo de difusión de texto a video.

A diferencia de los generadores 3D estáticos que producen una sola malla, Text-To-4D crea escenas que se pueden ver desde cualquier ángulo de cámara y componer en otros entornos 3D. El enfoque no requiere datos de entrenamiento 3D o 4D; el modelo subyacente de texto a video se entrena solo con pares de texto-imagen y videos sin etiquetar.

La página del proyecto aloja muestras de demostración para indicaciones de texto a 4D como "un corgi jugando con una pelota" y conversiones de imagen a 4D a partir de fotos fijas. Es una muestra de investigación, no un producto comercial con API pública o registro. Investigadores y artistas 3D interesados en la generación de escenas dinámicas basadas en NeRF pueden explorar el artículo y las muestras en el sitio.