UniLM vs Stellaris AI

UniLM est un modèle linguistique pré-entraîné de Microsoft Research qui gère à la fois la compréhension du langage naturel et la génération de texte à partir d'un Transformer partagé. Vous fine-tunez un seul point de contrôle pour des tâches de lecture comme la réponse à des questions, et des tâches d'écriture comme le résumé ou le dialogue, sans avoir besoin de maintenir des modèles séparés uniquement pour l'encodeur ou le décodeur. Le code et les poids pré-entraînés sont distribués via le dépôt GitHub microsoft/unilm sous licence MIT.

Les modèles de style BERT excellent dans la lecture mais nécessitent une pile de décodeurs séparée pour la génération. UniLM entraîne un seul Transformer avec trois modes d’attention-masque : unidirectionnel, bidirectionnel, et séquence-à-séquence. Cette conception permet aux mêmes poids de rivaliser avec BERT sur GLUE et SQuAD tout en établissant des benchmarks pour le résumé et la génération de questions en 2019, une division que la plupart des contemporains considéraient comme deux problèmes distincts.

Les chercheurs en ML et les ingénieurs en NLP utilisent UniLM lorsqu'ils recherchent des benchmarks publiés, des scripts d’entraînement, et des fichiers de point de contrôle pour la compréhension et la génération dans une seule base de code. Le dépôt couvre maintenant des versions ultérieures comme UniLMv2 (Pseudo-Masked Language Model, ICML 2020), mais la version 1 reste la référence pour l'approche de masquage unifié décrite dans l'article NeurIPS 2019.

Stellaris AI développe de grands modèles de langage commercialisés autour de la sécurité native et du raisonnement humain pour des tâches réelles. Sa gamme phare SGPT cible la génération de texte et de code, les questions-réponses basées sur les connaissances, le raisonnement logique et l'analyse à une échelle que l'entreprise décrit comme des centaines de milliards de paramètres. Le site public se concentre sur une liste d'attente pour SGPT-4.5 plutôt que sur un produit de chat en libre-service accessible dès aujourd'hui.

Alors que de nombreux laboratoires de LLM ajoutent des filtres de sécurité après l'entraînement, Stellaris AI considère la sécurité comme une partie intégrante de la pile du modèle grâce à un référencement strict des sources et à une minimisation des dommages dans l'architecture. Elle met également en avant l'apprentissage contextuel en temps réel (RCL) pour adapter les réponses avec des connaissances en direct, une combinaison destinée aux équipes qui souhaitent des résultats cités plutôt qu'une génération non vérifiée.

Les chercheurs, les équipes d'IA d'entreprise et les premiers utilisateurs rejoignent la liste d'attente SGPT-4.5 pour un accès prioritaire. L'entreprise cite plus de 10 ans de recherche et trois piliers produits principaux : Stellaris GPT, Native Safety et RCL.