DreamFusion vs Text-To-4D

Descubra o Dreamfusion, a plataforma revolucionária que combina o poder da síntese de texto para 3D com a tecnologia de difusão 2D de ponta. Desenvolvido por um esforço colaborativo do Google Research e da UC Berkeley, a Dreamfusion permite transformar descrições textuais sem esforço em modelos 3D vívidos sem a necessidade de conjuntos de dados em larga escala ou arquiteturas de denoising 3D complexas.

Utilizando um modelo de difusão de texto 2D de última geração como um anterior, o Dreamfusion introduz uma nova perda baseada na destilação da densidade de probabilidade. Essa abordagem inovadora permite a otimização contínua dos campos de radiação neural (NERF) através de descida de gradiente, produzindo renderizações 3D de alta qualidade a partir de vários ângulos com baixa perda. Os modelos 3D resultantes oferecem recursos notáveis, como visibilidade de qualquer perspectiva, texturas confundíveis sob várias condições de iluminação e a capacidade de ser composta em diversos ambientes 3D.

O Dreamfusion enfatiza a facilidade de uso e a acessibilidade, exigindo dados de treinamento 3D ou ajustes para o modelo de difusão de imagem existente. Ao aproveitar os modelos de difusão de imagem pré-treinados como um anterior robusto, o Dreamfusion demonstra o poder desses modelos além de meras aplicações 2D. Explore a galeria do Dreamfusion para testemunhar a variedade de objetos e cenas que ele pode gerar e dê o passo emocionante para gerar seu próprio modelo 3D a partir do texto hoje!

Meta presente MAV3D (Make-a-Video3D), um método para gerar cenas dinâmicas tridimensionais a partir de descrições de texto. Nossa abordagem utiliza um campo de radiação neural dinâmica 4D (NERF), que é otimizado para a aparência da cena, densidade e consistência do movimento, consultando um modelo baseado em difusão de texto para vídeo (T2V).

A saída de vídeo dinâmica gerada a partir do texto fornecida pode ser visualizada a partir de qualquer localização e ângulo da câmera e pode ser composto em qualquer ambiente 3D. O MAV3D não requer dados 3D ou 4D e o modelo T2V é treinado apenas em pares de imagem de texto e vídeos não marcados.