ALBERT vs GPT-4

ALBERT, abréviation de « A Lite BERT », est une version optimisée du modèle BERT largement utilisé pour les tâches de traitement du langage naturel. Présenté dans l'article arXiv de Zhenzhong Lan et ses collègues, ALBERT propose deux techniques de réduction de paramètres qui réduisent considérablement la consommation de mémoire et augmentent la vitesse d'entraînement de BERT sans sacrifier les performances.

Cette avancée répond au défi des limitations de la mémoire GPU/TPU et des temps de formation généralement longs associés à l'augmentation de la taille des modèles. L'article démontre, grâce à des preuves empiriques, qu'ALBERT non seulement fonctionne mieux que BERT sur une variété de tests de référence, tels que GLUE, RACE et SQuAD, mais qu'il obtient également des résultats de pointe avec un nombre de paramètres plus petit. La recherche introduit en outre une fonction de perte auto-supervisée qui améliore la capacité du modèle à comprendre la cohérence entre les phrases, conduisant à une amélioration substantielle des tâches nécessitant des entrées multi-phrases. Les auteurs fournissent le code et les modèles pré-entraînés pour ALBERT, les rendant accessibles pour une utilisation généralisée dans la communauté PNL.

Le GPT-4 est la dernière étape importante des efforts d'Openai pour augmenter l'apprentissage en profondeur.

Le GPT-4 est un grand modèle multimodal (acceptant des entrées d'image et de texte, émettant des sorties de texte) qui, bien que moins capables que les humains dans de nombreux scénarios du monde réel, présentent des performances de niveau humain sur diverses références professionnelles et académiques. Par exemple, il passe un examen de barre simulé avec un score autour des 10% supérieurs des candidats; En revanche, le score de GPT-3,5 était autour des 10% les plus bas. Nous avons passé 6 mois à aligner de manière itérative le GPT-4 en utilisant des leçons de notre programme de test contradictoires ainsi que du chatppt, ce qui a donné nos meilleurs résultats (bien que loin d'être parfaits) sur la factualité, la direction et refuser de sortir des garde-corps.

GPT-4 est plus créatif et collaboratif que jamais. Il peut générer, modifier et itérer avec les utilisateurs sur des tâches d'écriture créatives et techniques, telles que la composition de chansons, l'écriture de scénarios ou l'apprentissage du style d'écriture d'un utilisateur.