GLM-130B vs Terracotta

GLM-130B ofrece un modelo de lenguaje bilingüe de 130 mil millones de parámetros en la pila de investigación abierta THUDM, construida alrededor de la receta de preentrenamiento General Language Model (GLM). Los pesos están dirigidos a texto en inglés y chino, y el repositorio de GitHub incluye código de inferencia, tareas de evaluación y puntos de control aceptados en ICLR 2023. Puedes ejecutar generación de izquierda a derecha o relleno en blanco con los tokens [MASK] y [gMASK] en hardware que quepa en un solo servidor multi-GPU en lugar de una API propietaria.

Mientras que la mayoría de los modelos de más de 100 mil millones permanecen cerrados, GLM-130B publica pesos del modelo, notas de entrenamiento y configuraciones YAML para más de 30 benchmarks. Su ruta de cuantización INT4 está ajustada para que cuatro tarjetas RTX 3090 (24GB) puedan alojar la inferencia con casi ninguna pérdida de precisión, un umbral mucho más bajo que la configuración de ocho A100 (40GB) usada para ejecuciones completas en FP16. El objetivo de entrenamiento mezcla relleno en blanco autorregresivo en el 95% de los tokens con datos de instrucciones multitarea de T0++ y DeepStruct, lo cual es una apuesta diferente al preentrenamiento causal estándar estilo GPT.

Los investigadores que estudian transferencia cero disparo bilingüe, cuantización de modelos grandes o benchmarks reproducibles de LLM obtendrán el máximo provecho de GLM-130B. El repositorio se enfoca en herramientas de evaluación e inferencia más que en un producto de chat alojado, aunque THUDM luego derivó el trabajo de diálogo en ChatGLM. Se espera que traigas tus propias GPUs, almacenamiento para un punto de control de 260GB y paciencia para el formulario de descarga de pesos.

Terracotta es una herramienta de gobernanza de Infrastructure as Code que audita cada pull request antes de la fusión, verificando los cambios de Terraform y OpenTofu contra los recursos en la nube en vivo, el estado remoto y las políticas de gobernanza de tu equipo. Se instala como una aplicación de GitHub o GitLab, publica los hallazgos en el hilo del PR y construye una pista de auditoría a prueba de manipulaciones que los reguladores pueden exportar. El producto está dirigido a equipos de ingeniería de plataformas que necesitan controles de seguridad, desviaciones, costos y cumplimiento sin reescribir las canalizaciones de CI.

Los escáneres estáticos como Checkov o tfsec revisan la sintaxis HCL y las configuraciones erróneas conocidas, pero nunca comparan un plan con lo que realmente está ejecutándose en AWS. Terracotta cierra esa brecha correlacionando código, estado de Terraform y recursos en vivo para que las desviaciones, conflictos entre PR y el radio de impacto oculto aparezcan antes de que alguien haga clic en fusionar. Sus barreras de protección están escritas en inglés sencillo en lugar de Rego o Sentinel, lo que reduce la barrera para equipos que no cuentan con un ingeniero dedicado a políticas como código.

Los líderes de DevOps y los ingenieros de plataforma en entornos regulados usan Terracotta para bloquear buckets públicos de S3, reglas SSH abiertas y picos de costos no aprobados en el momento de la revisión en lugar de en producción. Los equipos de seguridad y cumplimiento obtienen un panel de control a nivel de flota con estado de desviación, tasas de cumplimiento de políticas y registros exportables para auditorías SOC 2 o HIPAA. Los desarrolladores continúan trabajando dentro de GitHub o GitLab porque los hallazgos llegan como comentarios en el PR, no como otro portal para revisar.

Beacon, el asistente de chat dentro del PR de Terracotta, responde preguntas sobre hallazgos específicos utilizando el contexto del repositorio, la salida del plan y los informes de desviación. El nivel Platform añade repositorios de desviación ilimitados, análisis de IAM y radio de impacto, notificaciones en Slack y un panel de control central por $49 por ingeniero al mes. Los clientes empresariales pueden ejecutar Terracotta autoalojado con SSO, SAML e integraciones personalizadas para HCP Terraform o CircleCI.