TLM Playground vs OpenHermes-13B

TLM Playground est le centre de documentation de Cleanlab pour le Trustworthy Language Model (TLM), une API de génération de modèles qui évalue en temps réel la fiabilité de toute réponse d'un LLM. Chaque réponse reçoit un score de fiabilité compris entre 0 et 1, signalant les hallucinations et erreurs de raisonnement avant qu'elles n'atteignent les utilisateurs. Installez le client Python avec pip install cleanlab-tlm, définissez une CLEANLAB_TLM_API_KEY, et appelez TLM.prompt() pour générer des réponses notées ou get_trustworthiness_score() pour auditer les sorties de votre pile existante.

La plupart des détecteurs d'hallucinations se concentrent sur la fidélité au contexte récupéré. Des métriques comme RAGAS vérifient si une réponse correspond aux documents sources mais manquent les erreurs factuelles lorsque le contexte est mince ou confus. TLM utilise l'estimation de l'incertitude du modèle plutôt que le prompting LLM-en-juge, et Cleanlab publie des benchmarks montrant une précision 3 fois supérieure à RAGAS dans les workflows RAG. Il ne nécessite pas de données d'entraînement étiquetées dans votre domaine, ce qui évite le problème de dérive qui compromet les évaluateurs personnalisés.

Les ingénieurs ML et IA construisant des pipelines RAG, chatbots et systèmes d'agents utilisent TLM pour filtrer les sorties à faible confiance, les orienter vers des humains, ou remplacer par des réponses de secours. L'API couvre les sorties structurées, les appels d'outils, les étiquettes de classification et les conversations multi-tours, pas seulement les complétions de texte simples.

OpenHermes-13B est un modèle linguistique finement ajusté basé sur un ensemble de données entièrement open source comprenant 242 000 entrées, principalement générées par GPT-4 et sélectionnées à partir de divers ensembles de données open AI. Il a été développé pour améliorer la génération de texte en supprimant les avertissements et refus liés à l'IA, visant à produire des sorties de communication plus claires et plus directes. Le modèle intègre des données provenant de plusieurs contributeurs, dont Teknium, l'équipe WizardLM, Microsoft et d'autres, garantissant une base d'entraînement diversifiée et complète.

Ce modèle est destiné aux développeurs et chercheurs qui souhaitent une alternative open source pour des tâches avancées de génération de texte sans les avertissements de sécurité typiques de l'IA. Il prend en charge l'intégration avec des bibliothèques d'apprentissage automatique populaires comme Transformers et peut être déployé localement ou via Docker, rendant son utilisation accessible pour l'expérimentation et la production.

OpenHermes-13B offre de la transparence dans son processus d'entraînement, avec un accès public aux logs de son projet WANDB et aux résultats détaillés des benchmarks. Il affiche des performances compétitives sur des benchmarks tels que GPT4All et BigBench, avec de légères améliorations par rapport à des modèles similaires, bien qu'il présente certains compromis dans les scores AGI-Eval.

Techniquement, il a été entraîné en utilisant des configurations multi-GPU avec l'optimiseur Adam et une programmation du taux d'apprentissage cosine, mettant l'accent sur la reproductibilité et la collaboration ouverte. Le modèle est compatible avec divers outils d'inférence et de quantification, permettant une utilisation dans des environnements comme llama.cpp et LM Studio.

Dans l'ensemble, OpenHermes-13B constitue une ressource précieuse pour ceux qui recherchent un modèle linguistique puissant, open source, finement ajusté pour le suivi des instructions et la génération de texte, sans disclaimers restrictifs sur l'IA, adapté à la recherche, au développement et au déploiement dans diverses applications d'IA.