GET3D | Nvidia vs Civitai

GET3D genera activos de mallas 3D texturizadas que puedes insertar directamente en un motor de renderizado, entrenado únicamente a partir de colecciones de imágenes 2D. Investigadores de NVIDIA lo desarrollaron para producir mallas explícitas con geometría y textura, no campos de radiancia neuronal que requieren renderizadores personalizados para su uso.

La mayoría de los modelos generativos 3D en ese momento omitían texturas, te limitaban a una topología fija o requerían pipelines de renderizado neuronal para visualizar resultados. GET3D utiliza tetraedros diferenciables en marcha (DMTet) junto con pérdidas adversariales sobre imágenes RGB rasterizadas y siluetas, por lo que el resultado es una malla texturizada estándar. La compensación es el acceso a nivel de investigación: este es un proyecto del Laboratorio de IA de NVIDIA Toronto presentado en NeurIPS 2022, no un SaaS alojado con un botón de carga.

El modelo maneja autos, sillas, animales, motocicletas, personajes humanos y edificios. También soporta generación de formas guiada por texto mediante ajuste fino basado en CLIP, similar a StyleGAN-NADA, y puede separar la geometría de la textura mediante códigos latentes separados.

Civitai es una plataforma que facilita a las personas compartir y descubrir recursos para crear arte de IA. Nuestros usuarios pueden cargar y compartir modelos personalizados que han entrenado utilizando sus propios datos, o explorar y descargar modelos creados por otros usuarios. Estos modelos se pueden usar con software AI Art para generar obras de arte únicas.

Genial, ¿qué es un "modelo"? En pocas palabras, un "modelo" se refiere a un algoritmo de aprendizaje automático o un conjunto de algoritmos que han sido entrenados para generar arte o medios en un estilo particular. Esto puede incluir imágenes, música, video u otros tipos de medios.

Para crear un modelo para generar arte, un conjunto de datos de ejemplos en el estilo deseado se recopila primero y se utiliza para entrenar el modelo. El modelo puede generar un nuevo arte mediante patrones de aprendizaje y características de los ejemplos en los que fue entrenado. El arte resultante no es una copia exacta de ninguno de los ejemplos en el conjunto de datos de capacitación, sino más bien una nueva obra de arte que está influenciada por el estilo de los ejemplos de capacitación.

Los modelos pueden ser entrenados para generar una amplia gama de estilos, desde imágenes fotorrealistas hasta patrones abstractos, y se pueden usar para crear arte que sea difícil o que consuma mucho tiempo para que los humanos produzcan manualmente.