Neuralangelo Research Reconstructs 3D Scenes | NVIDIA

Neuralangelo Research Reconstructs 3D Scenes | NVIDIA

Neuralangelo é um modelo da NVIDIA Research que reconstrói objetos e cenas 3D detalhados a partir de vídeos 2D comuns. Forneça clipes filmados de múltiplos ângulos e o sistema cria malhas texturizadas de edifícios, esculturas, veículos e interiores adequados para jogos, gêmeos digitais e simulações robóticas.

Métodos anteriores de reconstrução neural borravam texturas finas como telhas, vidro e mármore. Neuralangelo estende os primitivos gráficos neurais instantâneos do NVIDIA Instant NeRF para capturar essas superfícies com maior fidelidade, permitindo que imagens de smartphones produzam ativos que equipes criativas podem importar em ferramentas de design sem a necessidade de escaneamento a laser ou modelagem manual.

Pesquisadores, artistas de jogos e engenheiros de robótica usam Neuralangelo para digitalizar objetos do mundo real, desde estátuas em escala Michelangelo até edifícios de campus. O projeto é open source no GitHub sob nvlabs/neuralangelo, sem taxas de licença comercial para o código de pesquisa em si.

Recursos Principais:
  1. Reconstrói objetos 3D e grandes cenas a partir de vídeo 2D filmado de múltiplos ângulos

  2. Captura texturas finas como telhas, vidro e mármore melhor do que métodos neurais anteriores

  3. Baseado em primitivas gráficas neurais instantâneas da tecnologia NVIDIA Instant NeRF

  4. Exporta malhas detalhadas para motores de jogo, VR, gêmeos digitais e pipelines de robótica

  5. Código de código aberto publicado em github.com/nvlabs/neuralangelo

  6. Demonstrado em estátuas, veículos e interiores completos de edifícios a partir de filmagens de telefone

  7. Apresentado na CVPR 2023 junto a quase 30 outros projetos de Pesquisa NVIDIA

Pros:
  1. Texturas de alta fidelidade em telhas, vidro e mármore a partir de vídeo de telefone.

  2. Lançamento de código aberto no GitHub sob NVIDIA Research.

  3. Malhas utilizáveis para jogos, VR e pipelines de robótica.

  4. Lida com objetos pequenos e cenas de grande escala de edifícios.

Cons:
  1. A base de código de pesquisa requer configuração de GPU e expertise técnica para rodar.

  2. Necessita de entrada de vídeo de múltiplos ângulos ao invés de uma única foto.

  3. Sem SaaS hospedado; você executa Neuralangelo localmente ou na sua própria infraestrutura.

Perguntas frequentes:

O que é Neuralangelo?

Neuralangelo é um modelo de IA da NVIDIA Research que reconstrói estruturas 3D a partir de clipes de vídeo 2D. Ele gera réplicas virtuais texturizadas de objetos e cenas do mundo real para fluxos de trabalho criativos e de robótica.

Neuralangelo é gratuito para usar?

Sim. Neuralangelo está disponível como código de pesquisa open-source no GitHub em nvlabs/neuralangelo. A NVIDIA publica o modelo para desenvolvedores e pesquisadores baixarem e executarem.

Qual entrada o Neuralangelo precisa?

Neuralangelo utiliza vídeo 2D de um objeto ou cena capturado de múltiplos pontos de vista. O modelo seleciona quadros, estima posições da câmera e otimiza uma representação 3D detalhada.

O que posso construir com a saída do Neuralangelo?

Malhas do Neuralangelo podem ser importadas em aplicativos de design para videogames, experiências de realidade virtual, gêmeos digitais industriais e ambientes de simulação robótica.

Como o Neuralangelo é diferente do Instant NeRF?

Neuralangelo baseia-se em primitivas gráficas neurais instantâneas do NVIDIA Instant NeRF, mas foca em texturas de superfície mais nítidas e reconstrução de cenas em grande escala a partir de vídeo casual.

Onde o código do Neuralangelo está hospedado?

O código-fonte do Neuralangelo está no GitHub em github.com/nvlabs/neuralangelo. A NVIDIA anunciou a disponibilidade pública em uma nota do editor no seu post oficial no blog.

Quem desenvolveu o Neuralangelo?

Neuralangelo foi desenvolvido pela NVIDIA Research, incluindo o diretor sênior Ming-Yu Liu e colaboradores, e foi apresentado na conferência CVPR 2023.

Categoria:

Preços:

Gratuito

Tags:

3D Reconstruction
Neural Rendering
Instant NeRF
Digital Twins
Computer Vision
NVIDIA Research
Video to 3D
Virtual Reality

Tecnologia utilizada:

GitHub
Python
CUDA

Avaliações:

Give your opinion on Neuralangelo Research Reconstructs 3D Scenes | NVIDIA :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Melhor Gratuito Neuralangelo Research Reconstructs 3D Scenes | NVIDIA Alternativas (e Pagas)

By Rishit