OpenHermes-13B vs mshumer/gpt-prompt-engineer - GitHub

OpenHermes-13B est un modèle linguistique finement ajusté basé sur un ensemble de données entièrement open source comprenant 242 000 entrées, principalement générées par GPT-4 et sélectionnées à partir de divers ensembles de données open AI. Il a été développé pour améliorer la génération de texte en supprimant les avertissements et refus liés à l'IA, visant à produire des sorties de communication plus claires et plus directes. Le modèle intègre des données provenant de plusieurs contributeurs, dont Teknium, l'équipe WizardLM, Microsoft et d'autres, garantissant une base d'entraînement diversifiée et complète.

Ce modèle est destiné aux développeurs et chercheurs qui souhaitent une alternative open source pour des tâches avancées de génération de texte sans les avertissements de sécurité typiques de l'IA. Il prend en charge l'intégration avec des bibliothèques d'apprentissage automatique populaires comme Transformers et peut être déployé localement ou via Docker, rendant son utilisation accessible pour l'expérimentation et la production.

OpenHermes-13B offre de la transparence dans son processus d'entraînement, avec un accès public aux logs de son projet WANDB et aux résultats détaillés des benchmarks. Il affiche des performances compétitives sur des benchmarks tels que GPT4All et BigBench, avec de légères améliorations par rapport à des modèles similaires, bien qu'il présente certains compromis dans les scores AGI-Eval.

Techniquement, il a été entraîné en utilisant des configurations multi-GPU avec l'optimiseur Adam et une programmation du taux d'apprentissage cosine, mettant l'accent sur la reproductibilité et la collaboration ouverte. Le modèle est compatible avec divers outils d'inférence et de quantification, permettant une utilisation dans des environnements comme llama.cpp et LM Studio.

Dans l'ensemble, OpenHermes-13B constitue une ressource précieuse pour ceux qui recherchent un modèle linguistique puissant, open source, finement ajusté pour le suivi des instructions et la génération de texte, sans disclaimers restrictifs sur l'IA, adapté à la recherche, au développement et au déploiement dans diverses applications d'IA.

mshumer/gpt-prompt-engineer est une boîte à outils open source d'ingénierie des prompts qui génère, teste et classe des prompts candidats pour une tâche que vous définissez. Vous décrivez le cas d'utilisation, fournissez des cas de test, et les notebooks créent plusieurs variantes de prompts, les exécutent sur chaque cas de test, et trient les résultats avec un système de notation ELO commençant à 1200. Il est livré sous forme de notebooks Jupyter que vous pouvez exécuter dans Google Colab ou localement.

La plupart des outils de prompt vous aident à écrire un prompt à la fois. gpt-prompt-engineer traite la sélection de prompts comme un tournoi : des dizaines de candidats s'affrontent sur vos cas de test, et les scores ELO les plus élevés font ressortir les gagnants. Des notebooks séparés couvrent les tâches de classification, Claude 3 Opus avec des cas de test générés automatiquement, et la conversion Opus-to-Haiku pour une inférence moins coûteuse. Des journaux optionnels Weights & Biases et Portkey tracent chaque exécution.

Les ingénieurs en apprentissage machine, les ingénieurs en prompts et les développeurs en IA l'utilisent lorsqu'ils ont besoin d'un réglage reproductible des prompts plutôt que d'essais manuels et d'erreurs. Le dépôt compte 9,7 k étoiles GitHub et fonctionne avec vos propres clés d'API OpenAI ou Anthropic. Il est gratuit sous licence MIT.