Farm3D vs DeepMotion

Farm3D es un método de investigación para la reconstrucción 3D de animales articulados a partir de una sola vista, desarrollado en la Universidad de Oxford y publicado en 3DV 2024. Le proporcionas una foto de un caballo, vaca o oveja y devuelve una forma 3D completa con textura en segundos, sin necesidad de entrenamiento con fotografías reales. La página del proyecto documenta el enfoque, muestra demostraciones de reconstrucción y enlaza al código y al conjunto de datos de referencia Animodel.

La mayoría de los generadores 3D requieren grandes conjuntos de datos 3D etiquetados o capturas multivista. Farm3D se entrena completamente con vistas sintéticas producidas por Stable Diffusion, y luego utiliza el mismo modelo de difusión como crítico durante el aprendizaje. Esto le permite recuperar detalles finos como patas y orejas en categorías que nunca vio en imágenes reales, lo cual es inusual para los procesos de reconstrucción monocular que dependen de supervisión del mundo real.

Investigadores que estudian formas 3D articuladas, ingenieros de visión por computadora que prototipan flujos de trabajo para activos animales y artistas 3D que exploran síntesis controlable encontrarán útiles las demostraciones y el código abierto. El método también soporta reiluminación, intercambio de texturas entre modelos de la misma categoría y animación esquelética una vez que se genera una forma.

DeepMotion crea animaciones de personajes 3D a partir de indicaciones de texto o videos de referencia a través de un navegador, sin necesidad de un traje de captura de movimiento. Sus dos productos, SayMotion y Animate 3D, convierten descripciones escritas de movimientos o clips subidos en MP4, MOV y AVI en datos de esqueleto exportables para pipelines de juegos y cine. La salida se entrega en archivos FBX, BVH, GLB o MP4 que puedes reasignar a personajes personalizados.

La captura de movimiento tradicional requiere hardware especializado y espacio de estudio. DeepMotion ejecuta seguimiento corporal completo sin marcadores en la nube, por lo que estudios independientes y animadores en solitario pueden producir coreografías de lucha o movimientos de baile a partir de un video de teléfono. SayMotion añade pintura generativa para extender o mezclar movimientos más allá de las bibliotecas estándar, algo que los sitios de animación de stock no pueden igualar sin edición manual.

Desarrolladores de juegos, artistas XR, estudiantes de cine y educadores lo usan para prototipar el movimiento de personajes antes de comprometerse con un rigging completo. El Programa de Créditos de Animación Gratis permite a los usuarios recuperar créditos etiquetando descripciones de movimiento o corrigiendo poses en el editor Rotoscope.