GLM-130B vs Terracotta

GLM-130B propose un modèle de langage bilingue de 130 milliards de paramètres dans la pile de recherche ouverte THUDM construite autour de la recette de pré-entraînement General Language Model (GLM). Les poids ciblent les textes en anglais et en chinois, et le dépôt GitHub fournit le code d'inférence, les tâches d'évaluation et les points de contrôle acceptés à ICLR 2023. Vous pouvez exécuter une génération de gauche à droite ou un remplissage à blanc avec les tokens [MASK] et [gMASK] sur un matériel tenant sur un seul serveur multi-GPU plutôt que via une API propriétaire.

Alors que la plupart des modèles de plus de 100 milliards restent fermés, GLM-130B publie les poids du modèle, les notes d'entraînement et les configurations YAML pour plus de 30 benchmarks. Sa voie de quantification INT4 est optimisée pour que quatre cartes RTX 3090 (24GB) puissent héberger l'inférence avec presque aucune perte de précision, un seuil bien plus bas que la configuration de huit A100 (40GB) utilisée pour les exécutions FP16 complètes. L'objectif d'entraînement combine un remplissage à blanc autorégressif sur 95 % des tokens avec des données d'instruction multitâches issues de T0++ et DeepStruct, ce qui constitue un pari différent du pré-entraînement causal standard de type GPT.

Les chercheurs étudiant le transfert zéro-shot bilingue, la quantification de grands modèles ou les benchmarks reproductibles de LLM tireront le meilleur parti de GLM-130B. Le dépôt se concentre sur les outils d'évaluation et d'inférence plutôt que sur un produit de chat hébergé, bien que THUDM ait ensuite dérivé les travaux de dialogue dans ChatGLM. Prévoyez d'apporter vos propres GPU, un stockage pour un point de contrôle de 260GB et de la patience pour le formulaire de téléchargement des poids.

Terracotta est un outil de gouvernance Infrastructure as Code qui audite chaque pull request avant la fusion, en vérifiant les modifications Terraform et OpenTofu par rapport aux ressources cloud en direct, à l'état distant et aux politiques de gouvernance de votre équipe. Il s'installe en tant qu'application GitHub ou GitLab, publie les résultats dans le fil de la PR et crée une piste d'audit infalsifiable que les régulateurs peuvent exporter. Le produit cible les équipes d'ingénierie plateforme qui ont besoin de contrôles de sécurité, de dérive, de coûts et de conformité sans réécrire les pipelines CI.

Les analyseurs statiques comme Checkov ou tfsec vérifient la syntaxe HCL et les mauvaises configurations connues, mais ils ne comparent jamais un plan à ce qui est réellement en cours d'exécution sur AWS. Terracotta comble cette lacune en corrélant le code, l'état Terraform et les ressources en direct afin que la dérive, les conflits entre PR et le rayon d'impact caché apparaissent avant que quelqu'un ne clique sur fusionner. Ses garde-fous sont rédigés en anglais simple plutôt qu'en Rego ou Sentinel, ce qui abaisse la barrière pour les équipes qui n'ont pas d'ingénieur dédié à la politique en tant que code.

Les responsables DevOps et les ingénieurs plateforme dans les environnements réglementés utilisent Terracotta pour bloquer les buckets S3 publics, les règles SSH ouvertes et les pics de coûts non approuvés au moment de la revue plutôt qu'en production. Les équipes de sécurité et de conformité disposent d'un tableau de bord à l'échelle de la flotte avec la posture de dérive, les taux de conformité aux politiques et des enregistrements exportables pour les audits SOC 2 ou HIPAA. Les développeurs continuent de travailler dans GitHub ou GitLab car les résultats arrivent sous forme de commentaires dans la PR, sans autre portail à consulter.

Beacon, l'assistant de chat intégré à la PR de Terracotta, répond aux questions sur des résultats spécifiques en utilisant le contexte du dépôt, la sortie du plan et les rapports de dérive. Le niveau Platform ajoute des dépôts de dérive illimités, une analyse IAM et du rayon d'impact, des notifications Slack et un tableau de bord du centre de commande pour 49 $ par ingénieur et par mois. Les clients Enterprise peuvent exécuter Terracotta en auto-hébergement avec SSO, SAML et des intégrations personnalisées pour HCP Terraform ou CircleCI.