GET3D | Nvidia

GET3D | Nvidia

GET3D gera ativos de malha 3D texturizados que você pode importar diretamente em um motor de renderização, treinado apenas a partir de coleções de imagens 2D. Pesquisadores da NVIDIA o desenvolveram para produzir malhas explícitas com geometria e textura, não campos neurais de radiância que precisam de renderizadores personalizados para uso.

A maioria dos modelos generativos 3D na época ou ignorava texturas, restringia você a uma topologia fixa, ou exigia pipelines de renderização neural para visualizar os resultados. GET3D usa tetraedros diferenciáveis em marcha (DMTet) mais perdas adversariais em imagens RGB rasterizadas e silhuetas, então a saída é uma malha texturizada padrão. A compensação é o acesso em nível de pesquisa: este é um projeto do NVIDIA Toronto AI Lab apresentado no NeurIPS 2022, não um SaaS hospedado com botão de upload.

O modelo lida com carros, cadeiras, animais, motocicletas, personagens humanos e edifícios. Também suporta geração de formas guiadas por texto via ajuste fino baseado em CLIP, semelhante ao StyleGAN-NADA, e pode separar geometria de textura por meio de códigos latentes separados.

Recursos Principais:
  1. Gera malhas 3D texturizadas explícitas utilizáveis em motores de renderização padrão

  2. Treinado a partir de coleções de imagens 2D usando perdas adversariais em RGB e silhuetas

  3. Gera carros, cadeiras, animais, motocicletas, humanos e edifícios

  4. Desfaz a ligação entre geometria e textura através de códigos latentes separados

  5. Suporta geração de formas guiada por texto via ajuste fino baseado em CLIP

  6. Publicado na NeurIPS 2022 pela NVIDIA, Universidade de Toronto e Vector Institute

Pros:
  1. Gera malhas texturizadas padrão compatíveis com softwares 3D comuns

  2. Treina a partir de coleções de imagens 2D sem precisar de verdade em 3D

  3. Códigos de geometria e textura desacoplados permitem trocar materiais sem regenerar a forma

  4. Suporta geração guiada por texto via ajuste fino em CLIP

  5. Projeto de pesquisa gratuito de um artigo de alto nível na NeurIPS 2022

Cons:
  1. Apenas projeto de pesquisa, não um produto comercial hospedado

  2. Sem interface SaaS de autoatendimento ou API para usuários casuais

  3. Uso comercial requer Licença de Pesquisa NVIDIA separada

  4. Documento datado de 2022; modelos de geração 3D mais recentes surgiram desde então

Perguntas frequentes:

O que é o GET3D da NVIDIA?

GET3D é um modelo generativo do NVIDIA Toronto AI Lab que cria malhas 3D texturizadas explícitas a partir de coleções de imagens 2D. Foi publicado no NeurIPS 2022 e gera ativos prontos para motores de renderização 3D padrão.

O GET3D é gratuito para usar?

GET3D é um projeto de pesquisa gratuito da NVIDIA. Não há preços comerciais nem produto SaaS hospedado. Consultas sobre licenciamento comercial são feitas através do NVIDIA Research Licensing.

Quais categorias 3D o GET3D pode gerar?

GET3D gera malhas texturizadas em várias categorias, incluindo carros, cadeiras, animais, motocicletas, personagens humanos e edifícios. Vídeos de demonstração na página do projeto mostram geometria detalhada como rodas, janelas e texturas de roupas.

Como o GET3D difere dos campos de radiância neural?

GET3D gera arquivos padrão de malha texturizada via extração de superfície DMTet em vez de representações de campos de radiância neural. Isso significa que os ativos gerados podem ser importados em softwares 3D comuns sem um renderizador neural personalizado.

O GET3D pode gerar formas a partir de comandos de texto?

Sim. GET3D suporta geração de formas guiada por texto ao ajustar finamente o gerador 3D com perda direcional CLIP em imagens 2D renderizadas, seguindo a abordagem StyleGAN-NADA descrita na página do projeto.

Quem desenvolveu o GET3D?

GET3D foi desenvolvido por pesquisadores da NVIDIA, da Universidade de Toronto e do Vector Institute. Os autores principais incluem Jun Gao, Tianchang Shen e Sanja Fidler, entre outros listados no artigo do NeurIPS 2022.

Preços:

Gratuito

Tags:

3D Mesh Generation
Textured Models
NeurIPS Research
Generative Adversarial
Text-to-3D
NVIDIA Research
Virtual Worlds
GET3D

Tecnologia utilizada:

PyTorch
CLIP
DMTet

Avaliações:

Give your opinion on GET3D | Nvidia :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Melhor Gratuito GET3D | Nvidia Alternativas (e Pagas)

By Rishit