Farm3D vs Text-To-4D

Farm3D é um método de pesquisa para reconstrução 3D monocular de animais articulados, desenvolvido na Universidade de Oxford e publicado no 3DV 2024. Você fornece uma foto de um cavalo, vaca ou ovelha e ele retorna uma forma 3D completa com textura em segundos, sem treinamento em fotografias reais. A página do projeto documenta a abordagem, mostra demonstrações de reconstrução e fornece links para o código e o conjunto de dados de referência Animodel.

A maioria dos geradores 3D necessita de grandes conjuntos de dados 3D rotulados ou capturas multivista. Farm3D treina inteiramente em vistas sintéticas produzidas pelo Stable Diffusion, usando o mesmo modelo de difusão como crítico durante o aprendizado. Isso permite recuperar detalhes finos como pernas e orelhas em categorias que nunca viu em imagens reais, o que é incomum para pipelines de reconstrução monocular que dependem de supervisão do mundo real.

Pesquisadores que estudam formas 3D articuladas, engenheiros de visão computacional prototipando pipelines de ativos animais e artistas 3D explorando síntese controlável acharão as demonstrações e o código aberto úteis. O método também suporta relighting, troca de textura entre modelos da mesma categoria e animação esquelética após a geração da forma.

Text-To-4D é um projeto de pesquisa da Meta AI (MAV3D) que gera cenas dinâmicas tridimensionais a partir de descrições em texto. O método utiliza um Neural Radiance Field dinâmico 4D otimizado para consistência de aparência, densidade e movimento, consultando um modelo de difusão texto-para-vídeo.

Diferente dos geradores 3D estáticos que produzem uma única malha, o Text-To-4D gera cenas que podem ser visualizadas de qualquer ângulo de câmera e compostas em outros ambientes 3D. A abordagem não requer dados de treinamento 3D ou 4D; o modelo texto-para-vídeo subjacente é treinado apenas com pares texto-imagem e vídeos não rotulados.

A página do projeto hospeda amostras de demonstração para comandos texto-para-4D como "um corgi brincando com uma bola" e conversões imagem-para-4D a partir de fotos estáticas. É uma vitrine de pesquisa, não um produto comercial com API pública ou cadastro. Pesquisadores e artistas 3D interessados em geração dinâmica de cenas baseada em NeRF podem explorar o artigo e as saídas de exemplo no site.