DeepSpeed ZeRO++ vs ChatGPT Plugins

Microsoft Research a annoncé le développement de DeepSpeed ZeRO++, une amélioration révolutionnaire du modèle ZeRO (Zero Redundancy Optimizer). Ce système avancé introduit des stratégies de communication optimisées qui améliorent considérablement l'efficacité de la formation des grands modèles de langage (LLM) et des modèles de chat. DeepSpeed ZeRO++ y parvient en réduisant considérablement la quantité de communication nécessaire, même avec des lots importants ou une bande passante inter-appareils limitée. En réduisant jusqu'à 4 fois les besoins en communication, les chercheurs et les développeurs peuvent désormais former des modèles complexes plus rapidement et de manière plus rentable.

OpenAI suit une philosophie de déploiement itérative, et dans le cadre de cette approche, il publie progressivement des plugins pour Chatgpt. Le but de cette version progressive est d'étudier l'utilisation réelle des plugins, d'évaluer leur impact et d'identifier les défis de sécurité et d'alignement qui peuvent survenir. Il est essentiel d'obtenir ces aspects pour que OpenAI réalise sa mission.

Depuis le lancement de Chatgpt, les utilisateurs ont exprimé leur intérêt à avoir accès aux plugins, et de nombreux développeurs expérimentent des idées similaires. OpenAI déploie initialement des plugins à un petit ensemble d'utilisateurs et prévoit d'augmenter progressivement l'accès à mesure qu'il en apprend davantage. Après une période alpha, les utilisateurs d'API qui souhaitent intégrer les plugins dans leurs produits auront également accès. Openai est ravi de construire une communauté qui aidera à façonner l'avenir du paradigme d'interaction humaine-AI.

Les développeurs qui ont été invités sur la liste d'attente peuvent utiliser la documentation d'Openai pour construire un plugin pour chatgpt. Une fois le plugin créé, il est répertorié dans l'invite indiquée dans le modèle de langue, ainsi qu'une documentation qui instruit le modèle sur la façon d'utiliser chacun. Le premier ensemble de plugins a été créé par Expedia, FiscalNote, Instacart, Kayak, Klarna, Milo, Openntable, Shopify, Slack, Speak, Wolfram et Zapier.