Farm3D vs Text-To-4D

Farm3D é uma ferramenta desenvolvida pela Universidade de Oxford que cria modelos de animais articulados em 3D a partir de uma única imagem. Ela utiliza uma abordagem única, aproveitando um gerador de imagens baseado em difusão 2D, como o Stable Diffusion, para treinar uma rede que reconstrói formas detalhadas em 3D sem a necessidade de dados 3D reais. Este método permite que o Farm3D gere modelos em 3D com detalhes finos, como pernas e orelhas, mesmo sem ter sido treinado com imagens reais.

A ferramenta suporta síntese 3D controlável, permitindo aos usuários ajustar a iluminação, trocar texturas entre modelos da mesma categoria de animais e animar as formas. Ela funciona tanto com imagens reais quanto com imagens geradas pelo Stable Diffusion, produzindo ativos em 3D em segundos. O Farm3D decompõe as imagens de entrada em componentes como forma articulada, aparência, ponto de vista e direção da luz, dando aos usuários controle sobre o modelo final.

O Farm3D também apresenta o conjunto de dados Animodel, uma coleção de malhas 3D texturizadas de animais articulados, como cavalos, vacas e ovelhas, com poses realistas. Esse conjunto de dados serve como uma referência para avaliar a qualidade da reconstrução 3D de visão única para animais articulados.

Esta ferramenta é ideal para pesquisadores, artistas digitais e desenvolvedores interessados em modelagem, animação e síntese de animais em 3D, sem a necessidade de grandes conjuntos de dados de treinamento em 3D. Seu uso inovador de modelos de difusão para supervisão virtual e pontuação a diferencia dos métodos tradicionais de reconstrução 3D.

A abordagem do Farm3D reduz a necessidade de anotações 3D dispendiosas, utilizando visões sintéticas geradas e criticadas por modelos de difusão durante o treinamento. Isso resulta em uma rede de reconstrução monocular rápida, flexível e capaz de produzir modelos de animais em 3D de alta qualidade com recursos controláveis.

Text-To-4D, também conhecido como MAV3D (Make-A-Video3D), gera cenas dinâmicas tridimensionais a partir de descrições de texto simples. Ele utiliza um Neural Radiance Field (NeRF) dinâmico 4D otimizado para aparência consistente da cena, densidade e movimento, aproveitando um modelo de difusão Text-to-Video. Isso permite a criação de vídeos dinâmicos que podem ser visualizados de qualquer ângulo de câmera e integrados a diversos ambientes 3D.

Ao contrário dos métodos tradicionais de geração 3D, o MAV3D não requer dados de treinamento 3D ou 4D. Em vez disso, depende de um modelo Text-to-Video treinado exclusivamente com pares de texto-imagem e vídeos não rotulados, tornando-se acessível para usuários sem conjuntos de dados especializados. Essa abordagem abre novas possibilidades para criadores, desenvolvedores e pesquisadores interessados em gerar conteúdo dinâmico 3D imersivo a partir de comandos de texto.

A ferramenta foi desenhada para um amplo público, incluindo desenvolvedores de jogos, animadores e criadores de conteúdo de realidade virtual, que desejam produzir rapidamente cenas dinâmicas 3D sem modelagem ou animação manual. Ela oferece um valor único ao combinar geração orientada por texto com saída de cenas dinâmicas 3D, que podem ser usadas em aplicações interativas ou narrativa visual.

Tecnicamente, o método integra um NeRF 4D com um modelo de difusão baseado em Text-to-Video para garantir a consistência do movimento e da aparência ao longo do tempo e espaço. Como resultado, produz cenas dinâmicas suaves e realistas, que podem ser exploradas de múltiplos pontos de vista. O sistema melhora os resultados de bases internas anteriores, produzindo vídeos 3D de maior qualidade e mais coerentes a partir de entrada textual.

No geral, o Text-To-4D destaca-se como o primeiro método conhecido capaz de gerar cenas 3D totalmente dinâmicas a partir de texto, fechando a lacuna entre a geração de vídeos baseada em texto e a síntese de cenas 3D. Ele oferece uma solução flexível e inovadora para criar conteúdo imersivo sem a necessidade de dados 3D complexos ou animação manual.