Farm3D

Farm3D é uma ferramenta desenvolvida pela Universidade de Oxford que cria modelos de animais articulados em 3D a partir de uma única imagem. Ela utiliza uma abordagem única, aproveitando um gerador de imagens baseado em difusão 2D, como o Stable Diffusion, para treinar uma rede que reconstrói formas detalhadas em 3D sem a necessidade de dados 3D reais. Este método permite que o Farm3D gere modelos em 3D com detalhes finos, como pernas e orelhas, mesmo sem ter sido treinado com imagens reais.

A ferramenta suporta síntese 3D controlável, permitindo aos usuários ajustar a iluminação, trocar texturas entre modelos da mesma categoria de animais e animar as formas. Ela funciona tanto com imagens reais quanto com imagens geradas pelo Stable Diffusion, produzindo ativos em 3D em segundos. O Farm3D decompõe as imagens de entrada em componentes como forma articulada, aparência, ponto de vista e direção da luz, dando aos usuários controle sobre o modelo final.

O Farm3D também apresenta o conjunto de dados Animodel, uma coleção de malhas 3D texturizadas de animais articulados, como cavalos, vacas e ovelhas, com poses realistas. Esse conjunto de dados serve como uma referência para avaliar a qualidade da reconstrução 3D de visão única para animais articulados.

Esta ferramenta é ideal para pesquisadores, artistas digitais e desenvolvedores interessados em modelagem, animação e síntese de animais em 3D, sem a necessidade de grandes conjuntos de dados de treinamento em 3D. Seu uso inovador de modelos de difusão para supervisão virtual e pontuação a diferencia dos métodos tradicionais de reconstrução 3D.

A abordagem do Farm3D reduz a necessidade de anotações 3D dispendiosas, utilizando visões sintéticas geradas e criticadas por modelos de difusão durante o treinamento. Isso resulta em uma rede de reconstrução monocular rápida, flexível e capaz de produzir modelos de animais em 3D de alta qualidade com recursos controláveis.