GLM-130B vs GPT-4

Le GLM-130B, présenté à l'ICLR 2023, représente un modèle pré-entraîné bilingue ouvert révolutionnaire qui se distingue par ses impressionnants 130 milliards de paramètres. Développé pour la modélisation dense bidirectionnelle en anglais et en chinois, le GLM-130B exploite l'algorithme General Language Model (GLM) pour la pré-formation et est optimisé pour exécuter des tâches d'inférence sur une configuration de serveur unique, qu'il s'agisse de l'A100 (40G * 8). ou le V100 (32G8). De plus, sa compatibilité avec la quantification INT4 signifie que les exigences matérielles déjà modestes peuvent être encore réduites, permettant à un serveur avec 4 RTX 3090 (24G) de prendre en charge le modèle avec une dégradation minimale des performances.

Dans le cadre de son processus de formation, le GLM-130B a digéré un vaste ensemble de données composé de plus de 400 milliards de jetons de texte, répartis à parts égales entre le chinois et l'anglais. Il offre un support bilingue exceptionnel, des performances supérieures sur divers ensembles de données par rapport à ses homologues et offre des temps d'inférence rapides. De plus, ce référentiel favorise également la reproductibilité en facilitant les points de contrôle du code open source et des modèles pour plus de 30 tâches.

Le GPT-4 est la dernière étape importante des efforts d'Openai pour augmenter l'apprentissage en profondeur.

Le GPT-4 est un grand modèle multimodal (acceptant des entrées d'image et de texte, émettant des sorties de texte) qui, bien que moins capables que les humains dans de nombreux scénarios du monde réel, présentent des performances de niveau humain sur diverses références professionnelles et académiques. Par exemple, il passe un examen de barre simulé avec un score autour des 10% supérieurs des candidats; En revanche, le score de GPT-3,5 était autour des 10% les plus bas. Nous avons passé 6 mois à aligner de manière itérative le GPT-4 en utilisant des leçons de notre programme de test contradictoires ainsi que du chatppt, ce qui a donné nos meilleurs résultats (bien que loin d'être parfaits) sur la factualité, la direction et refuser de sortir des garde-corps.

GPT-4 est plus créatif et collaboratif que jamais. Il peut générer, modifier et itérer avec les utilisateurs sur des tâches d'écriture créatives et techniques, telles que la composition de chansons, l'écriture de scénarios ou l'apprentissage du style d'écriture d'un utilisateur.