phi-2 vs ggml.ai

Phi-2 est un modèle de langage basé sur Transformers développé par Microsoft, doté de 2,7 milliards de paramètres, conçu pour des tâches de génération de texte en anglais, notamment le traitement du langage naturel et la programmation. Il a été entraîné sur un vaste ensemble de données combinant des textes NLP synthétiques et du contenu web filtré afin d'améliorer la sécurité et la valeur éducative. Le modèle obtient d'excellents résultats sur des benchmarks de raisonnement de bon sens, de compréhension linguistique et de logique, se plaçant près de l'état de l'art parmi les modèles de moins de 13 milliards de paramètres.

Contrairement à certains modèles, Phi-2 n'a pas été affiné par apprentissage par renforcement à partir des retours humains, ce qui en fait un modèle de base destiné à la recherche et à l'expérimentation, plutôt qu'une utilisation immédiate en production. Il supporte plusieurs formats d'invite tels que la question-réponse, les dialogues de chat et la génération de code, offrant une grande flexibilité pour les développeurs et chercheurs explorant la sécurité de l'IA, la réduction des biais et la contrôlabilité.

Phi-2 est intégré dans la bibliothèque Hugging Face Transformers (version 4.37.0 et ultérieure) et peut être déployé localement ou via divers fournisseurs d'inférence. Il prend en charge un chargement et un service efficaces grâce à des outils comme vLLM et SGLang, et est compatible avec des versions quantifiées pour des applications légères. Le modèle utilise le format safetensors pour un stockage sécurisé et rapide des tenseurs.

Les utilisateurs doivent être conscients de certaines limitations, notamment des sorties de code ou factuelles parfois inexactes, une portée limitée en génération de code principalement axée sur Python et les bibliothèques courantes, une réponse parfois verbeuse, et des biais sociétaux potentiels malgré une formation axée sur la sécurité. Il est recommandé comme point de départ pour un affinement et une évaluation complémentaires plutôt que comme une solution prête à l'emploi.

Le modèle est sous licence MIT, favorisant la science ouverte et la collaboration communautaire. Il convient aux chercheurs en IA, développeurs et organisations souhaitant explorer des modèles linguistiques fondamentaux axés sur la sécurité et la transparence.

ggml exécute de grands modèles de langage et de parole sur des CPU et GPU ordinaires grâce à une bibliothèque compacte de tenseurs en C conçue pour l'inférence sur appareil. Les ingénieurs en apprentissage automatique et les développeurs d'applications l'adoptent via llama.cpp et whisper.cpp lorsqu'ils souhaitent des charges de travail LLaMA ou Whisper sans dépendances exclusives au cloud.

Des frameworks comme PyTorch sont optimisés pour les clusters d'entraînement et les environnements d'exécution lourds. ggml maintient la bibliothèque principale minimale avec zéro allocation mémoire à l'exécution, aucune dépendance tierce, et une quantification entière afin que llama.cpp puisse servir les poids Meta LLaMA sur des ordinateurs portables et Apple Silicon.

La société ggml.ai a été fondée en 2023 par Georgi Gerganov pour soutenir la bibliothèque et a été acquise par Hugging Face en 2026. Le projet principal ggml reste sous licence MIT avec un développement ouvert sur GitHub.