GET3D | Nvidia

GET3D | Nvidia

GET3D genera activos de mallas 3D texturizadas que puedes insertar directamente en un motor de renderizado, entrenado únicamente a partir de colecciones de imágenes 2D. Investigadores de NVIDIA lo desarrollaron para producir mallas explícitas con geometría y textura, no campos de radiancia neuronal que requieren renderizadores personalizados para su uso.

La mayoría de los modelos generativos 3D en ese momento omitían texturas, te limitaban a una topología fija o requerían pipelines de renderizado neuronal para visualizar resultados. GET3D utiliza tetraedros diferenciables en marcha (DMTet) junto con pérdidas adversariales sobre imágenes RGB rasterizadas y siluetas, por lo que el resultado es una malla texturizada estándar. La compensación es el acceso a nivel de investigación: este es un proyecto del Laboratorio de IA de NVIDIA Toronto presentado en NeurIPS 2022, no un SaaS alojado con un botón de carga.

El modelo maneja autos, sillas, animales, motocicletas, personajes humanos y edificios. También soporta generación de formas guiada por texto mediante ajuste fino basado en CLIP, similar a StyleGAN-NADA, y puede separar la geometría de la textura mediante códigos latentes separados.

Funciones principales:
  1. Genera mallas 3D texturizadas explícitas utilizables en motores de renderizado estándar

  2. Entrenado a partir de colecciones de imágenes 2D usando pérdidas adversariales en RGB y siluetas

  3. Genera autos, sillas, animales, motocicletas, humanos y edificios

  4. Desentraña la geometría y la textura mediante códigos latentes separados

  5. Soporta generación de formas guiada por texto mediante ajuste fino basado en CLIP

  6. Publicado en NeurIPS 2022 por NVIDIA, Universidad de Toronto y Vector Institute

Pros:
  1. Genera mallas texturizadas estándar compatibles con software 3D común

  2. Entrena a partir de colecciones de imágenes 2D sin requerir verdad de tierra en 3D

  3. Los códigos de geometría y textura desacoplados permiten intercambiar materiales sin regenerar la forma

  4. Soporta generación guiada por texto mediante ajuste fino con CLIP

  5. Proyecto de investigación gratuito de un artículo destacado en NeurIPS 2022

Cons:
  1. Solo proyecto de investigación, no un producto comercial alojado

  2. No tiene interfaz SaaS de autoservicio ni API para usuarios casuales

  3. El uso comercial requiere Licencia de Investigación de NVIDIA separada

  4. El artículo data de 2022; desde entonces han surgido modelos de generación 3D más recientes

Preguntas frecuentes:

¿Qué es GET3D de NVIDIA?

GET3D es un modelo generativo del laboratorio NVIDIA Toronto AI Lab que crea mallas 3D texturizadas explícitas a partir de colecciones de imágenes 2D. Fue publicado en NeurIPS 2022 y genera activos listos para motores de renderizado 3D estándar.

¿GET3D es gratis?

GET3D es un proyecto de investigación gratuito de NVIDIA. No existe un precio comercial ni un producto SaaS alojado. Las consultas sobre licencias comerciales se gestionan a través de NVIDIA Research Licensing.

¿Qué categorías 3D puede generar GET3D?

GET3D genera mallas texturizadas en varias categorías, incluyendo coches, sillas, animales, motocicletas, personajes humanos y edificios. Los videos de demostración en la página del proyecto muestran geometría detallada como ruedas, ventanas y texturas de ropa.

¿En qué se diferencia GET3D de los campos de radiancia neuronal?

GET3D genera archivos de mallas texturizadas estándar mediante extracción de superficie DMTet en lugar de representaciones de campos de radiancia neuronal. Esto significa que los activos generados pueden importarse en software 3D común sin un renderizador neuronal personalizado.

¿GET3D puede generar formas a partir de indicaciones de texto?

Sí. GET3D soporta generación de formas guiada por texto afinando el generador 3D con pérdida direccional CLIP en imágenes 2D renderizadas, siguiendo el enfoque StyleGAN-NADA descrito en la página del proyecto.

¿Quién desarrolló GET3D?

GET3D fue desarrollado por investigadores de NVIDIA, la Universidad de Toronto y el Vector Institute. Los autores principales incluyen a Jun Gao, Tianchang Shen y Sanja Fidler, entre otros listados en el artículo de NeurIPS 2022.

Categoría:

Tarificación:

Gratis

Etiquetas:

3D Mesh Generation
Textured Models
NeurIPS Research
Generative Adversarial
Text-to-3D
NVIDIA Research
Virtual Worlds
GET3D

Tecnología utilizada:

PyTorch
CLIP
DMTet

Reseñas:

Give your opinion on GET3D | Nvidia :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Mejor Gratis GET3D | Nvidia Alternativas (y Pagadas)

By Rishit