Claude 3 \ Anthropic vs UniLM

Claude 3 est la famille de modèles linguistiques de troisième génération d'Anthropic, lancée en mars 2024. Elle comprend trois niveaux : Haiku pour la vitesse et le coût, Sonnet pour un rendement équilibré, et Opus pour la profondeur de raisonnement maximale. Chaque modèle cible un compromis différent entre intelligence, latence et prix.

La famille gère des tâches de texte, de code, d'analyse et de vision. Les modèles Claude 3 traitent les photos, les graphiques, les diagrammes et les diagrammes techniques. Ils prennent en charge une fenêtre de contexte de 200 000 tokens au lancement, avec des entrées dépassant 1 million de tokens disponibles pour certains clients. Opus et Sonnet ont été lancés sur claude.ai et l'API Claude dans 159 pays, suivis peu après par Haiku.

Anthropic a construit Claude 3 avec des méthodes de sécurité AI Constitutionnelle et des garde-fous de la Politique de Scaling Responsable. Les modèles sont disponibles via l'API Claude, Amazon Bedrock et Google Cloud Vertex AI. Sonnet alimente le niveau gratuit sur claude.ai, tandis qu'Opus est réservé aux abonnés Claude Pro.

UniLM est un modèle linguistique pré-entraîné de Microsoft Research qui gère à la fois la compréhension du langage naturel et la génération de texte à partir d'un Transformer partagé. Vous fine-tunez un seul point de contrôle pour des tâches de lecture comme la réponse à des questions, et des tâches d'écriture comme le résumé ou le dialogue, sans avoir besoin de maintenir des modèles séparés uniquement pour l'encodeur ou le décodeur. Le code et les poids pré-entraînés sont distribués via le dépôt GitHub microsoft/unilm sous licence MIT.

Les modèles de style BERT excellent dans la lecture mais nécessitent une pile de décodeurs séparée pour la génération. UniLM entraîne un seul Transformer avec trois modes d’attention-masque : unidirectionnel, bidirectionnel, et séquence-à-séquence. Cette conception permet aux mêmes poids de rivaliser avec BERT sur GLUE et SQuAD tout en établissant des benchmarks pour le résumé et la génération de questions en 2019, une division que la plupart des contemporains considéraient comme deux problèmes distincts.

Les chercheurs en ML et les ingénieurs en NLP utilisent UniLM lorsqu'ils recherchent des benchmarks publiés, des scripts d’entraînement, et des fichiers de point de contrôle pour la compréhension et la génération dans une seule base de code. Le dépôt couvre maintenant des versions ultérieures comme UniLMv2 (Pseudo-Masked Language Model, ICML 2020), mais la version 1 reste la référence pour l'approche de masquage unifié décrite dans l'article NeurIPS 2019.