Claude 3 \ Anthropic vs RedPajama

Claude 3 est la famille de modèles linguistiques de troisième génération d'Anthropic, lancée en mars 2024. Elle comprend trois niveaux : Haiku pour la vitesse et le coût, Sonnet pour un rendement équilibré, et Opus pour la profondeur de raisonnement maximale. Chaque modèle cible un compromis différent entre intelligence, latence et prix.

La famille gère des tâches de texte, de code, d'analyse et de vision. Les modèles Claude 3 traitent les photos, les graphiques, les diagrammes et les diagrammes techniques. Ils prennent en charge une fenêtre de contexte de 200 000 tokens au lancement, avec des entrées dépassant 1 million de tokens disponibles pour certains clients. Opus et Sonnet ont été lancés sur claude.ai et l'API Claude dans 159 pays, suivis peu après par Haiku.

Anthropic a construit Claude 3 avec des méthodes de sécurité AI Constitutionnelle et des garde-fous de la Politique de Scaling Responsable. Les modèles sont disponibles via l'API Claude, Amazon Bedrock et Google Cloud Vertex AI. Sonnet alimente le niveau gratuit sur claude.ai, tandis qu'Opus est réservé aux abonnés Claude Pro.

RedPajama-INCITE est une famille de grands modèles de langage open-source développés par Together AI, comprenant des versions de 3 milliards et 7 milliards de paramètres entraînées sur l'étendue de la base de données RedPajama, d'une taille de 5 téraoctets. Ces modèles reproduisent de près l'architecture LLaMA et incluent des variantes de base, ajustées pour l'instruction, et de chat, toutes diffusées sous licence Apache 2.0 pour une utilisation à la fois en recherche et commerciale.

Le modèle 3B se distingue comme l'un des plus performants de sa catégorie, optimisé pour la vitesse et l'accessibilité, capable de fonctionner sur des GPU plus anciens comme le RTX 2070. Les versions ajustées pour l'instruction montrent de solides performances sur les benchmarks HELM, le modèle 7B surpassant la version LLaMA 7B de base de plusieurs points, ce qui laisse entrevoir de bonnes perspectives pour des tâches telles que l'apprentissage en peu d'exemples, l'extraction d'entités, la classification et le résumé.

L'entraînement utilise des techniques avancées, notamment l'architecture EleutherAI Pythia et l'optimisation DeeperSpeed, avec des modèles entraînés sur les ressources du superordinateur Summit. Le modèle 7B est encore en cours d'entraînement, mais dépasse déjà des modèles open similaires, indiquant la valeur du corpus et de l'approche d'entraînement RedPajama.

Together AI accompagne ces modèles avec une plateforme complète offrant du calcul accéléré, des clusters GPU, la fine-tuning, du stockage géré et des services d'inférence. Cet écosystème permet aux développeurs et aux entreprises de déployer, personnaliser et faire évoluer efficacement des applications d'IA.

La nature open-source et la licence permissive encouragent la collaboration communautaire et l'innovation, avec des améliorations continues prévues pour la base de données et des modèles d'une plus grande envergure. Together AI fournit également une documentation exhaustive, des démos et des outils pour développeurs afin de faciliter l'adoption.

Globalement, les modèles RedPajama offrent une base compétitive et accessible pour la création d'applications d'IA, soutenue par une infrastructure prête pour la production et une communauté active. Ils représentent une étape significative dans la démocratisation des modèles de langage de haute qualité pour une grande variété d'usages.