ELECTRA vs ChatGPT Plugins

ELECTRA pour TensorFlow2, disponible sur NVIDIA NGC, représente une avancée majeure dans la représentation du langage de pré-entraînement pour les tâches de traitement du langage naturel (NLP). En apprenant efficacement un encodeur qui classe avec précision les remplacements de jetons, ELECTRA surpasse les méthodes existantes dans le même budget de calcul dans diverses applications NLP. Développé sur la base d'un document de recherche, ce modèle bénéficie considérablement des optimisations fournies par NVIDIA, telles que l'arithmétique de précision mixte et l'utilisation de Tensor Core à bord des architectures GPU Volta, Turing et NVIDIA Ampere. Il permet non seulement d'obtenir des temps d'entraînement plus rapides, mais garantit également une précision de pointe.

Comprenant l'architecture, ELECTRA diffère des modèles conventionnels comme BERT en introduisant un cadre générateur-discriminateur qui identifie plus efficacement les remplacements de jetons, une approche inspirée des réseaux contradictoires génératifs (GAN). Cette implémentation est conviviale et propose des scripts pour le téléchargement, le prétraitement, la formation, l'analyse comparative et l'inférence des données, permettant ainsi aux chercheurs de travailler plus facilement avec des ensembles de données personnalisés et d'affiner leurs tâches, notamment la réponse aux questions.

OpenAI suit une philosophie de déploiement itérative, et dans le cadre de cette approche, il publie progressivement des plugins pour Chatgpt. Le but de cette version progressive est d'étudier l'utilisation réelle des plugins, d'évaluer leur impact et d'identifier les défis de sécurité et d'alignement qui peuvent survenir. Il est essentiel d'obtenir ces aspects pour que OpenAI réalise sa mission.

Depuis le lancement de Chatgpt, les utilisateurs ont exprimé leur intérêt à avoir accès aux plugins, et de nombreux développeurs expérimentent des idées similaires. OpenAI déploie initialement des plugins à un petit ensemble d'utilisateurs et prévoit d'augmenter progressivement l'accès à mesure qu'il en apprend davantage. Après une période alpha, les utilisateurs d'API qui souhaitent intégrer les plugins dans leurs produits auront également accès. Openai est ravi de construire une communauté qui aidera à façonner l'avenir du paradigme d'interaction humaine-AI.

Les développeurs qui ont été invités sur la liste d'attente peuvent utiliser la documentation d'Openai pour construire un plugin pour chatgpt. Une fois le plugin créé, il est répertorié dans l'invite indiquée dans le modèle de langue, ainsi qu'une documentation qui instruit le modèle sur la façon d'utiliser chacun. Le premier ensemble de plugins a été créé par Expedia, FiscalNote, Instacart, Kayak, Klarna, Milo, Openntable, Shopify, Slack, Speak, Wolfram et Zapier.