Neuralangelo Research Reconstructs 3D Scenes | NVIDIA vs Make3D

Neuralangelo é um modelo de IA desenvolvido pela NVIDIA Research que transforma clipes de vídeo 2D em estruturas 3D detalhadas usando redes neurais. Ele cria réplicas virtuais realistas de objetos como edifícios, esculturas e cenas complexas, capturando detalhes intrincados e texturas de múltiplos pontos de vista. Essa tecnologia é feita para profissionais criativos e desenvolvedores que atuam em realidade virtual, gêmeos digitais, robótica e desenvolvimento de jogos, permitindo que importem modelos 3D de alta fidelidade para seus fluxos de trabalho de design.

Diferentemente de métodos anteriores, Neuralangelo destaca-se por reproduzir materiais complexos como telhas de telhado, painéis de vidro e superfícies de mármore lisas com alta precisão. Ele usa primitivas gráficas neurais instantâneas, a tecnologia por trás do NVIDIA Instant NeRF, para captar detalhes finos e padrões de textura repetitivos que antes eram desafiadores. O modelo processa quadros selecionados de vídeos para estimar as posições da câmera e então constrói e refina uma representação 3D, de maneira semelhante a um escultor moldando um objeto a partir de múltiplos ângulos.

Neuralangelo suporta reconstrução tanto de objetos pequenos quanto de cenas em grande escala, incluindo interiores e exteriores de edifícios, demonstrado por modelos detalhados como a estátua de David, de Michelangelo, e o parque do campus da NVIDIA na Bay Area. Isso o torna uma ferramenta versátil para indústrias que necessitam de réplicas digitais realistas de ambientes e objetos do mundo real.

O modelo simplifica a criação de ativos virtuais utilizáveis a partir de filmagens capturadas até mesmo por smartphones, acelerando os fluxos de trabalho de artistas, designers e engenheiros. Ao reduzir a distância entre os mundos físico e digital, Neuralangelo aprimora o realismo e a eficiência de projetos nas áreas de entretenimento, design industrial e robótica.

A NVIDIA disponibilizou o Neuralangelo no GitHub, incentivando desenvolvedores e pesquisadores a explorarem e aprimorarem essa tecnologia. Representa um avanço significativo na reconstrução 3D, combinando renderização neural avançada com usabilidade prática para uma ampla gama de aplicações.

Converte imagens 2D em imagens 3D ou incorporação.