DeepSpeed ZeRO++ vs ggml.ai

DeepSpeed ZeRO++ optimise la communication lors de l'entraînement de grands modèles linguistiques et de chat afin d'accélérer significativement le processus. Il réduit jusqu'à quatre fois le volume de données transférées entre les GPU par rapport à l'optimiseur ZeRO d'origine, en utilisant des techniques avancées telles que la quantification par blocs et la partition hiérarchique des poids.

Ce qui distingue DeepSpeed ZeRO++, c'est sa capacité à maintenir la précision du modèle tout en réduisant la surcharge de communication, en particulier lors de l'entraînement avec de petits lots par GPU ou sur des clusters avec une bande passante réseau limitée. Il y parvient en utilisant la mémoire GPU supplémentaire pour conserver des copies complètes du modèle sur chaque machine, permettant une communication intra-machine plus rapide et réduisant les transferts de données plus lents entre machines.

DeepSpeed ZeRO++ accélère également les flux de travail d'apprentissage par renforcement à partir de retours humains (RLHF), améliorant à la fois la phase de génération et d'entraînement pour des modèles similaires à ChatGPT. Il s'intègre avec DeepSpeed-Chat, permettant des tailles de lot plus importantes et un débit plus rapide sur divers configurations matérielles.

Techniquement, ZeRO++ met en œuvre une nouvelle méthode de communication par gradients quantifiés et un modèle de communication hiérarchique all-to-all qui équilibre quantification et précision afin de minimiser erreur et latence. Ces innovations font de DeepSpeed ZeRO++ une solution pratique et évolutive pour les chercheurs et développeurs souhaitant entraîner plus rapidement et à moindre coût des modèles d'IA massifs, en particulier dans des environnements à bande passante limitée.

Dans l'ensemble, DeepSpeed ZeRO++ représente une avancée significative en termes de vitesse et d'efficacité pour l'entraînement distribué à grande échelle, permettant un pré-entraînement et un ajustement fin plus rapides des grands modèles d'IA tout en réduisant les coûts de communication et en élargissant l'accès à des configurations matérielles diversifiées.

ggml exécute de grands modèles de langage et de parole sur des CPU et GPU ordinaires grâce à une bibliothèque compacte de tenseurs en C conçue pour l'inférence sur appareil. Les ingénieurs en apprentissage automatique et les développeurs d'applications l'adoptent via llama.cpp et whisper.cpp lorsqu'ils souhaitent des charges de travail LLaMA ou Whisper sans dépendances exclusives au cloud.

Des frameworks comme PyTorch sont optimisés pour les clusters d'entraînement et les environnements d'exécution lourds. ggml maintient la bibliothèque principale minimale avec zéro allocation mémoire à l'exécution, aucune dépendance tierce, et une quantification entière afin que llama.cpp puisse servir les poids Meta LLaMA sur des ordinateurs portables et Apple Silicon.

La société ggml.ai a été fondée en 2023 par Georgi Gerganov pour soutenir la bibliothèque et a été acquise par Hugging Face en 2026. Le projet principal ggml reste sous licence MIT avec un développement ouvert sur GitHub.