APIPark vs Switch Transformers

APIPark est une passerelle LLM open-source et un portail développeur d'API pour les entreprises qui ont besoin d'un seul endroit pour appeler, gérer et facturer les modèles d'IA et les API internes. Il dirige le trafic vers plus de 200 grands modèles de langage via un point d'accès unique compatible OpenAI, afin que les équipes cessent de connecter des SDK de fournisseurs séparés pour chaque modèle ajouté.

Alors que la plupart des passerelles API ne font que transférer les requêtes, APIPark considère également les modèles et les API comme des actifs négociables. Il intègre une authentification unifiée, des flux d'approbation, une facturation par recharge, une distribution à plusieurs niveaux et des rapports de profit afin que les équipes plateformes puissent vendre la capacité excédentaire des modèles ou regrouper des API métier sans construire une infrastructure de marché séparée.

Les ingénieurs plateforme et les équipes IA l'utilisent pour définir des quotas par locataire, des limites de débit et des règles de masquage avant que le trafic de production n'atteigne les modèles en amont. Les gestionnaires d'API disposent de portails pour publier des API, suivre l'utilisation et approuver les demandes d'accès. L'édition Community couvre les fonctionnalités principales de la passerelle et du portail ; l'édition Enterprise ajoute une gouvernance avancée, des statistiques d'exécution et un support premium.

Les Switch Transformers introduisent une architecture de type Mixture of Experts (MoE) sparse qui dirige chaque entrée vers un seul expert, réduisant la surcharge de communication tout en permettant de faire évoluer des modèles linguistiques de billion de paramètres avec un coût de calcul constant. Le document de chercheurs de Google, William Fedus, Barret Zoph et Noam Shazeer, simplifie le routage MoE, améliore la stabilité de l'entraînement, et rapporte une pré-formation jusqu'à 7 fois plus rapide que les modèles T5 denses avec le même budget de calcul.

L'approche s'appuie sur l'architecture T5 et prend en charge la formation multilingue sur 101 langues. Les Switch Transformers permettent également une formation avec une précision bfloat16 pour des exécutions à grande échelle plus rapides et plus stables. Ce travail vise les chercheurs et ingénieurs qui ont besoin de faire évoluer les modèles NLP sans augmentation proportionnelle des coûts matériels.

Publié sur arXiv en tant que document de recherche, Switch Transformers documente des méthodes pour une activation parcimonieuse efficace, plutôt que comme un produit SaaS commercial. Le document et le PDF sont disponibles gratuitement en téléchargement et citation.