APIPark vs GLM-130B

APIPark est une passerelle LLM open-source et un portail développeur d'API pour les entreprises qui ont besoin d'un seul endroit pour appeler, gérer et facturer les modèles d'IA et les API internes. Il dirige le trafic vers plus de 200 grands modèles de langage via un point d'accès unique compatible OpenAI, afin que les équipes cessent de connecter des SDK de fournisseurs séparés pour chaque modèle ajouté.

Alors que la plupart des passerelles API ne font que transférer les requêtes, APIPark considère également les modèles et les API comme des actifs négociables. Il intègre une authentification unifiée, des flux d'approbation, une facturation par recharge, une distribution à plusieurs niveaux et des rapports de profit afin que les équipes plateformes puissent vendre la capacité excédentaire des modèles ou regrouper des API métier sans construire une infrastructure de marché séparée.

Les ingénieurs plateforme et les équipes IA l'utilisent pour définir des quotas par locataire, des limites de débit et des règles de masquage avant que le trafic de production n'atteigne les modèles en amont. Les gestionnaires d'API disposent de portails pour publier des API, suivre l'utilisation et approuver les demandes d'accès. L'édition Community couvre les fonctionnalités principales de la passerelle et du portail ; l'édition Enterprise ajoute une gouvernance avancée, des statistiques d'exécution et un support premium.

GLM-130B propose un modèle de langage bilingue de 130 milliards de paramètres dans la pile de recherche ouverte THUDM construite autour de la recette de pré-entraînement General Language Model (GLM). Les poids ciblent les textes en anglais et en chinois, et le dépôt GitHub fournit le code d'inférence, les tâches d'évaluation et les points de contrôle acceptés à ICLR 2023. Vous pouvez exécuter une génération de gauche à droite ou un remplissage à blanc avec les tokens [MASK] et [gMASK] sur un matériel tenant sur un seul serveur multi-GPU plutôt que via une API propriétaire.

Alors que la plupart des modèles de plus de 100 milliards restent fermés, GLM-130B publie les poids du modèle, les notes d'entraînement et les configurations YAML pour plus de 30 benchmarks. Sa voie de quantification INT4 est optimisée pour que quatre cartes RTX 3090 (24GB) puissent héberger l'inférence avec presque aucune perte de précision, un seuil bien plus bas que la configuration de huit A100 (40GB) utilisée pour les exécutions FP16 complètes. L'objectif d'entraînement combine un remplissage à blanc autorégressif sur 95 % des tokens avec des données d'instruction multitâches issues de T0++ et DeepStruct, ce qui constitue un pari différent du pré-entraînement causal standard de type GPT.

Les chercheurs étudiant le transfert zéro-shot bilingue, la quantification de grands modèles ou les benchmarks reproductibles de LLM tireront le meilleur parti de GLM-130B. Le dépôt se concentre sur les outils d'évaluation et d'inférence plutôt que sur un produit de chat hébergé, bien que THUDM ait ensuite dérivé les travaux de dialogue dans ChatGLM. Prévoyez d'apporter vos propres GPU, un stockage pour un point de contrôle de 260GB et de la patience pour le formulaire de téléchargement des poids.