Make3D vs Text-To-4D

Converte imagens 2D em imagens 3D ou incorporação.

Text-To-4D é um projeto de pesquisa da Meta AI (MAV3D) que gera cenas dinâmicas tridimensionais a partir de descrições em texto. O método utiliza um Neural Radiance Field dinâmico 4D otimizado para consistência de aparência, densidade e movimento, consultando um modelo de difusão texto-para-vídeo.

Diferente dos geradores 3D estáticos que produzem uma única malha, o Text-To-4D gera cenas que podem ser visualizadas de qualquer ângulo de câmera e compostas em outros ambientes 3D. A abordagem não requer dados de treinamento 3D ou 4D; o modelo texto-para-vídeo subjacente é treinado apenas com pares texto-imagem e vídeos não rotulados.

A página do projeto hospeda amostras de demonstração para comandos texto-para-4D como "um corgi brincando com uma bola" e conversões imagem-para-4D a partir de fotos estáticas. É uma vitrine de pesquisa, não um produto comercial com API pública ou cadastro. Pesquisadores e artistas 3D interessados em geração dinâmica de cenas baseada em NeRF podem explorar o artigo e as saídas de exemplo no site.