GLM-130B vs ChatGPT Plugins

Le GLM-130B, présenté à l'ICLR 2023, représente un modèle pré-entraîné bilingue ouvert révolutionnaire qui se distingue par ses impressionnants 130 milliards de paramètres. Développé pour la modélisation dense bidirectionnelle en anglais et en chinois, le GLM-130B exploite l'algorithme General Language Model (GLM) pour la pré-formation et est optimisé pour exécuter des tâches d'inférence sur une configuration de serveur unique, qu'il s'agisse de l'A100 (40G * 8). ou le V100 (32G8). De plus, sa compatibilité avec la quantification INT4 signifie que les exigences matérielles déjà modestes peuvent être encore réduites, permettant à un serveur avec 4 RTX 3090 (24G) de prendre en charge le modèle avec une dégradation minimale des performances.

Dans le cadre de son processus de formation, le GLM-130B a digéré un vaste ensemble de données composé de plus de 400 milliards de jetons de texte, répartis à parts égales entre le chinois et l'anglais. Il offre un support bilingue exceptionnel, des performances supérieures sur divers ensembles de données par rapport à ses homologues et offre des temps d'inférence rapides. De plus, ce référentiel favorise également la reproductibilité en facilitant les points de contrôle du code open source et des modèles pour plus de 30 tâches.

OpenAI suit une philosophie de déploiement itérative, et dans le cadre de cette approche, il publie progressivement des plugins pour Chatgpt. Le but de cette version progressive est d'étudier l'utilisation réelle des plugins, d'évaluer leur impact et d'identifier les défis de sécurité et d'alignement qui peuvent survenir. Il est essentiel d'obtenir ces aspects pour que OpenAI réalise sa mission.

Depuis le lancement de Chatgpt, les utilisateurs ont exprimé leur intérêt à avoir accès aux plugins, et de nombreux développeurs expérimentent des idées similaires. OpenAI déploie initialement des plugins à un petit ensemble d'utilisateurs et prévoit d'augmenter progressivement l'accès à mesure qu'il en apprend davantage. Après une période alpha, les utilisateurs d'API qui souhaitent intégrer les plugins dans leurs produits auront également accès. Openai est ravi de construire une communauté qui aidera à façonner l'avenir du paradigme d'interaction humaine-AI.

Les développeurs qui ont été invités sur la liste d'attente peuvent utiliser la documentation d'Openai pour construire un plugin pour chatgpt. Une fois le plugin créé, il est répertorié dans l'invite indiquée dans le modèle de langue, ainsi qu'une documentation qui instruit le modèle sur la façon d'utiliser chacun. Le premier ensemble de plugins a été créé par Expedia, FiscalNote, Instacart, Kayak, Klarna, Milo, Openntable, Shopify, Slack, Speak, Wolfram et Zapier.