Farm3D vs Text-To-4D

Farm3D es una herramienta desarrollada por la Universidad de Oxford que crea modelos animales articulados en 3D a partir de una sola imagen. Utiliza un enfoque único al aprovechar un generador de imágenes basado en difusión 2D, como Stable Diffusion, para entrenar una red que reconstruye formas detalladas en 3D sin necesidad de datos 3D reales. Este método permite que Farm3D genere modelos en 3D con detalles finos, como patas y orejas, aunque no haya sido entrenada con imágenes reales.

La herramienta soporta una síntesis en 3D controlable, permitiendo a los usuarios ajustar la iluminación, intercambiar texturas entre modelos de la misma categoría de animal y animar las formas. Funciona tanto con imágenes reales como con imágenes generadas por Stable Diffusion, produciendo activos en 3D en segundos. Farm3D descompone las imágenes de entrada en componentes como forma articulada, apariencia, punto de vista y dirección de la luz, ofreciendo a los usuarios control sobre el modelo final.

Farm3D también presenta el conjunto de datos Animodel, una colección de mallas en 3D texturizadas de animales articulados como caballos, vacas y ovejas, con poses realistas. Este conjunto de datos sirve como referencia para evaluar la calidad de la reconstrucción 3D de vista única para animales articulados.

Esta herramienta es ideal para investigadores, artistas digitales y desarrolladores interesados en el modelado, la animación y la síntesis en 3D de animales, sin requerir datos de entrenamiento en 3D extensos. Su uso innovador de modelos de difusión para supervisión virtual y puntuación la diferencia de los métodos tradicionales de reconstrucción en 3D.

El enfoque de Farm3D reduce la necesidad de anotaciones 3D costosas al usar vistas sintéticas generadas y criticadas por modelos de difusión durante el entrenamiento. Esto da lugar a una red de reconstrucción monocular que es rápida, flexible y capaz de producir modelos en 3D de alta calidad con características controlables.

Text-To-4D, también conocido como MAV3D (Make-A-Video3D), genera escenas dinámicas tridimensionales a partir de descripciones de texto simples. Utiliza un campo de radiación neural dinámico de 4D (NeRF) optimizado para mantener la apariencia, densidad y movimiento coherentes de la escena, aprovechando un modelo de difusión de Texto-a-Video. Esto permite crear videos dinámicos que pueden ser visualizados desde cualquier ángulo de cámara y integrados en diversos entornos 3D.

A diferencia de los métodos tradicionales de generación 3D, MAV3D no requiere datos de entrenamiento en 3D o 4D. En su lugar, se basa en un modelo de Texto-a-Video entrenado únicamente con pares de texto e imagen y videos no etiquetados, lo que lo hace accesible para usuarios sin conjuntos de datos especializados. Este enfoque abre nuevas posibilidades para creadores, desarrolladores e investigadores interesados en generar contenido dinámico 3D inmersivo a partir de indicaciones de texto.

La herramienta está diseñada para un público amplio, incluyendo desarrolladores de juegos, animadores y creadores de contenido de realidad virtual que desean producir rápidamente escenas dinámicas en 3D sin necesidad de modelado o animación manual. Ofrece un valor único al combinar generación basada en texto con salida de escenas dinámicas en 3D, que puede ser utilizada en aplicaciones interactivas o narrativas visuales.

Desde el punto de vista técnico, el método integra un NeRF de 4D con un modelo de difusión de Texto-a-Video para garantizar la coherencia de movimiento y apariencia a lo largo del tiempo y el espacio. Esto resulta en escenas dinámicas suaves y realistas que pueden ser exploradas desde múltiples puntos de vista. El sistema mejora las bases internas previas al producir videos en 3D de mayor calidad y coherencia a partir de entradas textuales.

En general, Text-To-4D destaca como el primer método conocido para generar escenas 3D completamente dinámicas a partir de texto, cerrando la brecha entre la generación de videos basada en texto y la síntesis de escenas en 3D. Ofrece una solución flexible e innovadora para crear contenido inmersivo sin necesidad de datos complejos en 3D o animación manual.