Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs DeepMotion

Neuralangelo é um modelo da NVIDIA Research que reconstrói objetos e cenas 3D detalhados a partir de vídeos 2D comuns. Forneça clipes filmados de múltiplos ângulos e o sistema cria malhas texturizadas de edifícios, esculturas, veículos e interiores adequados para jogos, gêmeos digitais e simulações robóticas.

Métodos anteriores de reconstrução neural borravam texturas finas como telhas, vidro e mármore. Neuralangelo estende os primitivos gráficos neurais instantâneos do NVIDIA Instant NeRF para capturar essas superfícies com maior fidelidade, permitindo que imagens de smartphones produzam ativos que equipes criativas podem importar em ferramentas de design sem a necessidade de escaneamento a laser ou modelagem manual.

Pesquisadores, artistas de jogos e engenheiros de robótica usam Neuralangelo para digitalizar objetos do mundo real, desde estátuas em escala Michelangelo até edifícios de campus. O projeto é open source no GitHub sob nvlabs/neuralangelo, sem taxas de licença comercial para o código de pesquisa em si.

DeepMotion cria animações de personagens 3D a partir de comandos de texto ou vídeo de referência através do navegador, sem necessidade de traje de captura de movimento. Seus dois produtos, SayMotion e Animate 3D, transformam descrições de movimentos escritos ou clipes MP4, MOV e AVI enviados em dados de esqueleto exportáveis para pipelines de jogos e filmes. A saída é enviada como arquivos FBX, BVH, GLB ou MP4 que você pode retargetar para personagens personalizados.

A captura de movimento tradicional requer hardware especializado e espaço de estúdio. DeepMotion executa rastreamento corporal completo sem marcadores na nuvem, permitindo que estúdios independentes e animadores solo produzam coreografias de luta ou passos de dança a partir de um vídeo de celular. SayMotion adiciona pintura generativa para estender ou mesclar movimentos além das bibliotecas padrão, algo que sites de animação padrão não conseguem sem edição manual.

Desenvolvedores de jogos, artistas XR, estudantes de cinema e educadores usam para prototipar movimentos de personagens antes de se comprometerem com uma rigagem completa. O Programa de Créditos de Animação Gratuitos permite que usuários recuperem créditos rotulando descrições de movimento ou corrigindo poses no editor Rotoscope.