ALBERT vs ChatGPT Plugins

ALBERT, abréviation de « A Lite BERT », est une version optimisée du modèle BERT largement utilisé pour les tâches de traitement du langage naturel. Présenté dans l'article arXiv de Zhenzhong Lan et ses collègues, ALBERT propose deux techniques de réduction de paramètres qui réduisent considérablement la consommation de mémoire et augmentent la vitesse d'entraînement de BERT sans sacrifier les performances.

Cette avancée répond au défi des limitations de la mémoire GPU/TPU et des temps de formation généralement longs associés à l'augmentation de la taille des modèles. L'article démontre, grâce à des preuves empiriques, qu'ALBERT non seulement fonctionne mieux que BERT sur une variété de tests de référence, tels que GLUE, RACE et SQuAD, mais qu'il obtient également des résultats de pointe avec un nombre de paramètres plus petit. La recherche introduit en outre une fonction de perte auto-supervisée qui améliore la capacité du modèle à comprendre la cohérence entre les phrases, conduisant à une amélioration substantielle des tâches nécessitant des entrées multi-phrases. Les auteurs fournissent le code et les modèles pré-entraînés pour ALBERT, les rendant accessibles pour une utilisation généralisée dans la communauté PNL.

OpenAI suit une philosophie de déploiement itérative, et dans le cadre de cette approche, il publie progressivement des plugins pour Chatgpt. Le but de cette version progressive est d'étudier l'utilisation réelle des plugins, d'évaluer leur impact et d'identifier les défis de sécurité et d'alignement qui peuvent survenir. Il est essentiel d'obtenir ces aspects pour que OpenAI réalise sa mission.

Depuis le lancement de Chatgpt, les utilisateurs ont exprimé leur intérêt à avoir accès aux plugins, et de nombreux développeurs expérimentent des idées similaires. OpenAI déploie initialement des plugins à un petit ensemble d'utilisateurs et prévoit d'augmenter progressivement l'accès à mesure qu'il en apprend davantage. Après une période alpha, les utilisateurs d'API qui souhaitent intégrer les plugins dans leurs produits auront également accès. Openai est ravi de construire une communauté qui aidera à façonner l'avenir du paradigme d'interaction humaine-AI.

Les développeurs qui ont été invités sur la liste d'attente peuvent utiliser la documentation d'Openai pour construire un plugin pour chatgpt. Une fois le plugin créé, il est répertorié dans l'invite indiquée dans le modèle de langue, ainsi qu'une documentation qui instruit le modèle sur la façon d'utiliser chacun. Le premier ensemble de plugins a été créé par Expedia, FiscalNote, Instacart, Kayak, Klarna, Milo, Openntable, Shopify, Slack, Speak, Wolfram et Zapier.