UniLM vs GPT-4

Cet article présente UniLM, un modèle de langage unifié pré-entraîné, qui sert de nouvelle référence pour les tâches de compréhension du langage naturel (NLU) et de génération du langage naturel (NLG). Il est unique dans son utilisation d'un réseau Transformer partagé qui est pré-entraîné sur des tâches unidirectionnelles, bidirectionnelles et séquence à séquence, utilisant des masques d'auto-attention spéciaux pour le contrôle de prédiction contextuel. UniLM surpasse BERT dans le benchmark GLUE et excelle dans les réponses aux questions SQuAD 2.0 et CoQA, établissant de nouveaux records dans cinq ensembles de données NLG, y compris des améliorations notables dans les tâches de synthèse CNN/DailyMail et Gigaword. Les modèles et le code partagés par les auteurs aident la communauté des chercheurs à progresser davantage.

Le GPT-4 est la dernière étape importante des efforts d'Openai pour augmenter l'apprentissage en profondeur.

Le GPT-4 est un grand modèle multimodal (acceptant des entrées d'image et de texte, émettant des sorties de texte) qui, bien que moins capables que les humains dans de nombreux scénarios du monde réel, présentent des performances de niveau humain sur diverses références professionnelles et académiques. Par exemple, il passe un examen de barre simulé avec un score autour des 10% supérieurs des candidats; En revanche, le score de GPT-3,5 était autour des 10% les plus bas. Nous avons passé 6 mois à aligner de manière itérative le GPT-4 en utilisant des leçons de notre programme de test contradictoires ainsi que du chatppt, ce qui a donné nos meilleurs résultats (bien que loin d'être parfaits) sur la factualité, la direction et refuser de sortir des garde-corps.

GPT-4 est plus créatif et collaboratif que jamais. Il peut générer, modifier et itérer avec les utilisateurs sur des tâches d'écriture créatives et techniques, telles que la composition de chansons, l'écriture de scénarios ou l'apprentissage du style d'écriture d'un utilisateur.