Neuralangelo Research Reconstructs 3D Scenes | NVIDIA

Neuralangelo é um modelo de IA desenvolvido pela NVIDIA Research que transforma clipes de vídeo 2D em estruturas 3D detalhadas usando redes neurais. Ele cria réplicas virtuais realistas de objetos como edifícios, esculturas e cenas complexas, capturando detalhes intrincados e texturas de múltiplos pontos de vista. Essa tecnologia é feita para profissionais criativos e desenvolvedores que atuam em realidade virtual, gêmeos digitais, robótica e desenvolvimento de jogos, permitindo que importem modelos 3D de alta fidelidade para seus fluxos de trabalho de design.

Diferentemente de métodos anteriores, Neuralangelo destaca-se por reproduzir materiais complexos como telhas de telhado, painéis de vidro e superfícies de mármore lisas com alta precisão. Ele usa primitivas gráficas neurais instantâneas, a tecnologia por trás do NVIDIA Instant NeRF, para captar detalhes finos e padrões de textura repetitivos que antes eram desafiadores. O modelo processa quadros selecionados de vídeos para estimar as posições da câmera e então constrói e refina uma representação 3D, de maneira semelhante a um escultor moldando um objeto a partir de múltiplos ângulos.

Neuralangelo suporta reconstrução tanto de objetos pequenos quanto de cenas em grande escala, incluindo interiores e exteriores de edifícios, demonstrado por modelos detalhados como a estátua de David, de Michelangelo, e o parque do campus da NVIDIA na Bay Area. Isso o torna uma ferramenta versátil para indústrias que necessitam de réplicas digitais realistas de ambientes e objetos do mundo real.

O modelo simplifica a criação de ativos virtuais utilizáveis a partir de filmagens capturadas até mesmo por smartphones, acelerando os fluxos de trabalho de artistas, designers e engenheiros. Ao reduzir a distância entre os mundos físico e digital, Neuralangelo aprimora o realismo e a eficiência de projetos nas áreas de entretenimento, design industrial e robótica.

A NVIDIA disponibilizou o Neuralangelo no GitHub, incentivando desenvolvedores e pesquisadores a explorarem e aprimorarem essa tecnologia. Representa um avanço significativo na reconstrução 3D, combinando renderização neural avançada com usabilidade prática para uma ampla gama de aplicações.