GET3D | Nvidia vs Civitai

GET3D génère des modèles 3D texturés que vous pouvez intégrer directement dans un moteur de rendu, entraîné uniquement à partir de collections d'images 2D. Les chercheurs de NVIDIA l'ont conçu pour produire des maillages explicites avec géométrie et texture, et non des champs de radiance neuronale nécessitant des moteurs de rendu personnalisés.

La plupart des modèles génératifs 3D à l'époque omettaient les textures, imposaient une topologie fixe ou nécessitaient des pipelines de rendu neuronal pour visualiser les résultats. GET3D utilise la méthode différentiable des tétraèdres marchants (DMTet) ainsi que des pertes adversariales sur des images RGB rasterisées et des silhouettes, ce qui donne en sortie un maillage texturé standard. Le compromis est un accès de niveau recherche : il s'agit d'un projet du laboratoire d'IA NVIDIA Toronto présenté à NeurIPS 2022, et non d'un SaaS hébergé avec un bouton de téléchargement.

Le modèle prend en charge les voitures, chaises, animaux, motos, personnages humains et bâtiments. Il supporte également la génération de formes guidée par texte via un affinage basé sur CLIP, similaire à StyleGAN-NADA, et peut dissocier la géométrie de la texture grâce à des codes latents séparés.

Civitai est une plate-forme qui permet aux gens de partager et de découvrir facilement des ressources pour créer l'art de l'IA. Nos utilisateurs peuvent télécharger et partager des modèles personnalisés qu'ils ont formés à l'aide de leurs propres données, ou parcourir et télécharger des modèles créés par d'autres utilisateurs. Ces modèles peuvent ensuite être utilisés avec un logiciel AI Art pour générer des œuvres d'art uniques.

Cool, qu'est-ce qu'un "modèle?" En termes simples, un "modèle" fait référence à un algorithme d'apprentissage automatique ou à un ensemble d'algorithmes qui ont été formés pour générer de l'art ou des médias dans un style particulier. Cela peut inclure des images, de la musique, des vidéos ou d'autres types de médias.

Pour créer un modèle pour générer de l'art, un ensemble de données d'exemples dans le style souhaité est d'abord collecté et utilisé pour former le modèle. Le modèle est ensuite capable de générer un nouvel art en apprenant des modèles et des caractéristiques à partir des exemples sur lesquels il a été formé. L'art qui en résulte n'est pas une copie exacte des exemples de l'ensemble de données de formation, mais plutôt une nouvelle œuvre d'art influencée par le style des exemples de formation.

Les modèles peuvent être formés pour générer un large éventail de styles, des images photoréalistes aux modèles abstraits, et peuvent être utilisés pour créer de l'art difficile ou qui prend du temps pour les humains à produire manuellement.