mshumer/gpt-prompt-engineer - GitHub vs GET3D | Nvidia

mshumer/gpt-prompt-engineer est une boîte à outils open source d'ingénierie des prompts qui génère, teste et classe des prompts candidats pour une tâche que vous définissez. Vous décrivez le cas d'utilisation, fournissez des cas de test, et les notebooks créent plusieurs variantes de prompts, les exécutent sur chaque cas de test, et trient les résultats avec un système de notation ELO commençant à 1200. Il est livré sous forme de notebooks Jupyter que vous pouvez exécuter dans Google Colab ou localement.

La plupart des outils de prompt vous aident à écrire un prompt à la fois. gpt-prompt-engineer traite la sélection de prompts comme un tournoi : des dizaines de candidats s'affrontent sur vos cas de test, et les scores ELO les plus élevés font ressortir les gagnants. Des notebooks séparés couvrent les tâches de classification, Claude 3 Opus avec des cas de test générés automatiquement, et la conversion Opus-to-Haiku pour une inférence moins coûteuse. Des journaux optionnels Weights & Biases et Portkey tracent chaque exécution.

Les ingénieurs en apprentissage machine, les ingénieurs en prompts et les développeurs en IA l'utilisent lorsqu'ils ont besoin d'un réglage reproductible des prompts plutôt que d'essais manuels et d'erreurs. Le dépôt compte 9,7 k étoiles GitHub et fonctionne avec vos propres clés d'API OpenAI ou Anthropic. Il est gratuit sous licence MIT.

GET3D génère des modèles 3D texturés que vous pouvez intégrer directement dans un moteur de rendu, entraîné uniquement à partir de collections d'images 2D. Les chercheurs de NVIDIA l'ont conçu pour produire des maillages explicites avec géométrie et texture, et non des champs de radiance neuronale nécessitant des moteurs de rendu personnalisés.

La plupart des modèles génératifs 3D à l'époque omettaient les textures, imposaient une topologie fixe ou nécessitaient des pipelines de rendu neuronal pour visualiser les résultats. GET3D utilise la méthode différentiable des tétraèdres marchants (DMTet) ainsi que des pertes adversariales sur des images RGB rasterisées et des silhouettes, ce qui donne en sortie un maillage texturé standard. Le compromis est un accès de niveau recherche : il s'agit d'un projet du laboratoire d'IA NVIDIA Toronto présenté à NeurIPS 2022, et non d'un SaaS hébergé avec un bouton de téléchargement.

Le modèle prend en charge les voitures, chaises, animaux, motos, personnages humains et bâtiments. Il supporte également la génération de formes guidée par texte via un affinage basé sur CLIP, similaire à StyleGAN-NADA, et peut dissocier la géométrie de la texture grâce à des codes latents séparés.