GLM-130B vs Terracotta

GLM-130B coloca um modelo bilíngue de linguagem com 130 bilhões de parâmetros na pilha de pesquisa aberta THUDM construída em torno da receita de pré-treinamento do General Language Model (GLM). Os pesos são direcionados para textos em inglês e chinês, e o repositório do GitHub disponibiliza código de inferência, tarefas de avaliação e checkpoints aceitos no ICLR 2023. Você pode executar geração da esquerda para a direita ou preenchimento em branco com tokens [MASK] e [gMASK] em hardware que caiba em um único servidor multi-GPU, em vez de uma API proprietária.

Enquanto a maioria dos modelos com mais de 100 bilhões de parâmetros permanece fechada, o GLM-130B publica pesos do modelo, notas de treinamento e configurações YAML para mais de 30 benchmarks. Seu caminho de quantização INT4 é ajustado para que quatro placas RTX 3090 (24GB) possam hospedar a inferência com quase nenhuma perda de precisão, um requisito muito menor do que a configuração com oito A100 (40GB) usada para execuções completas em FP16. O objetivo de treinamento mistura preenchimento em branco autorregressivo em 95% dos tokens com dados de instrução multitarefa do T0++ e DeepStruct, o que é uma aposta diferente do pré-treinamento causal padrão no estilo GPT.

Pesquisadores que estudam transferência zero-shot bilíngue, quantização de grandes modelos ou benchmarks reproduzíveis de LLMs obterão o máximo do GLM-130B. O repositório foca em ferramentas de avaliação e inferência em vez de um produto de chat hospedado, embora o THUDM tenha posteriormente desmembrado o trabalho de diálogo no ChatGLM. Espere trazer suas próprias GPUs, armazenamento para um checkpoint de 260GB e paciência para o formulário de download dos pesos.

Terracotta é uma ferramenta de governança de Infrastructure as Code que audita cada pull request antes da mesclagem, verificando alterações no Terraform e OpenTofu em relação aos recursos ativos na nuvem, estado remoto e às políticas de governança da sua equipe. Ela é instalada como um aplicativo no GitHub ou GitLab, publica os resultados na thread do PR e cria um registro de auditoria à prova de adulteração que reguladores podem exportar. O produto é direcionado a equipes de engenharia de plataforma que precisam de verificações de segurança, deriva, custo e conformidade sem reescrever pipelines de CI.

Scanners estáticos como Checkov ou tfsec analisam a sintaxe HCL e configurações incorretas conhecidas, mas nunca comparam um plano com o que está realmente rodando na AWS. Terracotta fecha essa lacuna correlacionando código, estado do Terraform e recursos ativos para que deriva, conflitos entre PRs e raio de impacto oculto apareçam antes que alguém clique em mesclar. Seus guardrails são escritos em inglês simples em vez de Rego ou Sentinel, o que reduz a barreira para equipes que não possuem um engenheiro dedicado de política como código.

Líderes de DevOps e engenheiros de plataforma em ambientes regulados usam Terracotta para bloquear buckets públicos do S3, regras SSH abertas e picos de custo não aprovados no momento da revisão, em vez de na produção. Equipes de segurança e conformidade obtêm um painel geral com postura de deriva, taxas de conformidade de políticas e registros exportáveis para auditorias SOC 2 ou HIPAA. Desenvolvedores continuam trabalhando dentro do GitHub ou GitLab porque os resultados chegam como comentários no PR, não como outro portal para verificar.

Beacon, o assistente de chat dentro do PR do Terracotta, responde perguntas sobre achados específicos usando contexto do repositório, saída do plano e relatórios de deriva. O nível Platform adiciona repositórios de deriva ilimitados, análise de IAM e raio de impacto, notificações no Slack e um painel central de comando por $49 por engenheiro por mês. Clientes Enterprise podem executar Terracotta self-hosted com SSO, SAML e integrações personalizadas para HCP Terraform ou CircleCI.