Immersity (formerly LeiaPix Converter) vs Text-To-4D

O Immersity, anteriormente conhecido como LeiaPix Converter, transforma fotos e vídeos planos em animações de profundidade que você pode visualizar em uma tela normal ou em um headset XR. Você carrega um arquivo 2D, o Neural Depth Engine cria um mapa de profundidade e você exporta formatos como 3D lado a lado, mapas de profundidade, vídeo espacial para o Apple Vision Pro ou clipes animados do Immersive Motion.

Aplicativos genéricos de fotos 3D geralmente param em um único movimento de paralaxe. O Immersity separa o primeiro plano e o fundo em camadas distintas com o Neural Depth Rendering 4.0, que preenche detalhes ocultos quando você move ou amplia o ponto de vista. Ele também converte vídeos, não apenas imagens estáticas, com opções de exportação de até 4K nos planos pagos.

Criadores, profissionais de marketing e entusiastas de XR o utilizam para clipes sociais, imagens de viagens e conteúdo estereoscópico sem precisar criar mapas de profundidade manualmente. O nível gratuito permite conversões ilimitadas com marca d'água de até 720p; os planos de imagem pagos começam em $4.99 por mês para 500 créditos e saída em 4K sem marcas d'água.

Text-To-4D é um projeto de pesquisa da Meta AI (MAV3D) que gera cenas dinâmicas tridimensionais a partir de descrições em texto. O método utiliza um Neural Radiance Field dinâmico 4D otimizado para consistência de aparência, densidade e movimento, consultando um modelo de difusão texto-para-vídeo.

Diferente dos geradores 3D estáticos que produzem uma única malha, o Text-To-4D gera cenas que podem ser visualizadas de qualquer ângulo de câmera e compostas em outros ambientes 3D. A abordagem não requer dados de treinamento 3D ou 4D; o modelo texto-para-vídeo subjacente é treinado apenas com pares texto-imagem e vídeos não rotulados.

A página do projeto hospeda amostras de demonstração para comandos texto-para-4D como "um corgi brincando com uma bola" e conversões imagem-para-4D a partir de fotos estáticas. É uma vitrine de pesquisa, não um produto comercial com API pública ou cadastro. Pesquisadores e artistas 3D interessados em geração dinâmica de cenas baseada em NeRF podem explorar o artigo e as saídas de exemplo no site.