DeBERTa vs Stellaris AI

DeBERTa améliore la compréhension du langage naturel en utilisant un mécanisme d'attention désentrelacé qui encode séparément le contenu des mots et leur position. Cela permet au modèle de mieux capturer les relations entre les mots dans une phrase, améliorant ainsi la compréhension du contexte.

Ce qui distingue DeBERTa, c'est son pré-entraînement de style ELECTRA combiné à un partage d'embeddings désentrelacé par gradient. Cette approche augmente l'efficacité de la formation et la performance du modèle, permettant à des modèles plus petits de surpasser des modèles plus grands sur des benchmarks tels que MNLI et SQuAD v2.0.

DeBERTa propose une variété de modèles pré-entraînés allant de 22 millions à 1,5 milliard de paramètres, y compris des versions multilingues supportant plus de 100 langues. Il prend en charge l'intégration avec PyTorch, Docker et pip, et fournit des scripts ainsi qu'une documentation pour le pré-entraînement et l'ajustement fin.

L'outil a atteint des résultats de pointe sur des benchmarks comme SuperGLUE, surpassant la performance humaine avec ses modèles à grande échelle. Son équilibre entre taille, efficacité et précision le rend adapté à la fois à la recherche et aux applications NLP pratiques.

Maintenu sur GitHub par des chercheurs de Microsoft, DeBERTa encourage les contributions communautaires et offre un support pour la collaboration et les demandes d'informations.

Stellaris AI développe de grands modèles de langage commercialisés autour de la sécurité native et du raisonnement humain pour des tâches réelles. Sa gamme phare SGPT cible la génération de texte et de code, les questions-réponses basées sur les connaissances, le raisonnement logique et l'analyse à une échelle que l'entreprise décrit comme des centaines de milliards de paramètres. Le site public se concentre sur une liste d'attente pour SGPT-4.5 plutôt que sur un produit de chat en libre-service accessible dès aujourd'hui.

Alors que de nombreux laboratoires de LLM ajoutent des filtres de sécurité après l'entraînement, Stellaris AI considère la sécurité comme une partie intégrante de la pile du modèle grâce à un référencement strict des sources et à une minimisation des dommages dans l'architecture. Elle met également en avant l'apprentissage contextuel en temps réel (RCL) pour adapter les réponses avec des connaissances en direct, une combinaison destinée aux équipes qui souhaitent des résultats cités plutôt qu'une génération non vérifiée.

Les chercheurs, les équipes d'IA d'entreprise et les premiers utilisateurs rejoignent la liste d'attente SGPT-4.5 pour un accès prioritaire. L'entreprise cite plus de 10 ans de recherche et trois piliers produits principaux : Stellaris GPT, Native Safety et RCL.