Plumb vs mshumer/gpt-prompt-engineer - GitHub

Plumb est un outil de programmation visuelle innovant et sans code conçu exclusivement pour les équipes SaaS axées sur la création de fonctionnalités et de produits basés sur l'IA. Il simplifie les phases de création, de test et de déploiement, permettant aux équipes de réduire le temps de développement de plusieurs mois à quelques jours ou semaines. Plumb relève divers défis rencontrés dans le développement de produits d'IA, tels que les hallucinations, les erreurs d'attribution, les dérapages de modèle, la transformation des données et les limitations de vectorDB, en facilitant la collaboration entre différents rôles d'équipe sans les obstacles du codage traditionnel.

L'interface facile à utiliser permet à tous les acteurs du produit, de la conception et de l'ingénierie de contribuer efficacement au développement de fonctionnalités d'IA. Avec Plumb, les prototypes passent directement de la conception à la production, garantissant la plus haute qualité grâce à des fonctionnalités de bout en bout. Plumb permet également de comparer les performances et de résoudre rapidement les problèmes, renforçant ainsi la création de fonctionnalités d'IA de haute qualité qui ajoutent une valeur authentique aux utilisateurs finaux.

mshumer/gpt-prompt-engineer est une boîte à outils open source d'ingénierie des prompts qui génère, teste et classe des prompts candidats pour une tâche que vous définissez. Vous décrivez le cas d'utilisation, fournissez des cas de test, et les notebooks créent plusieurs variantes de prompts, les exécutent sur chaque cas de test, et trient les résultats avec un système de notation ELO commençant à 1200. Il est livré sous forme de notebooks Jupyter que vous pouvez exécuter dans Google Colab ou localement.

La plupart des outils de prompt vous aident à écrire un prompt à la fois. gpt-prompt-engineer traite la sélection de prompts comme un tournoi : des dizaines de candidats s'affrontent sur vos cas de test, et les scores ELO les plus élevés font ressortir les gagnants. Des notebooks séparés couvrent les tâches de classification, Claude 3 Opus avec des cas de test générés automatiquement, et la conversion Opus-to-Haiku pour une inférence moins coûteuse. Des journaux optionnels Weights & Biases et Portkey tracent chaque exécution.

Les ingénieurs en apprentissage machine, les ingénieurs en prompts et les développeurs en IA l'utilisent lorsqu'ils ont besoin d'un réglage reproductible des prompts plutôt que d'essais manuels et d'erreurs. Le dépôt compte 9,7 k étoiles GitHub et fonctionne avec vos propres clés d'API OpenAI ou Anthropic. Il est gratuit sous licence MIT.