APIPark vs GLM-130B

APIPark es una puerta de enlace LLM de código abierto y un portal para desarrolladores de API para empresas que necesitan un lugar único para llamar, gobernar y facturar modelos de IA y APIs internas. Dirige el tráfico a más de 200 modelos de lenguaje grandes a través de un único endpoint compatible con OpenAI, para que los equipos dejen de conectar SDKs de proveedores separados por cada modelo que añaden.

Mientras que la mayoría de las puertas de enlace API solo reenvían solicitudes, APIPark también trata los modelos y APIs como activos comerciables. Agrupa autenticación unificada, flujos de aprobación, facturación por recarga, distribución multinivel e informes de ganancias para que los equipos de plataforma puedan vender capacidad excedente de modelos o empaquetar APIs de negocio sin construir una pila de mercado separada.

Los ingenieros de plataforma y equipos de IA lo usan para establecer cuotas por inquilino, límites de tasa y reglas de enmascaramiento antes de que el tráfico de producción llegue a los modelos ascendentes. Los gestores de API obtienen portales para publicar APIs, rastrear uso y aprobar solicitudes de acceso. La Edición Comunitaria cubre las funciones básicas de puerta de enlace y portal; la Edición Empresarial añade gobernanza avanzada, estadísticas en tiempo real y soporte premium.

GLM-130B ofrece un modelo de lenguaje bilingüe de 130 mil millones de parámetros en la pila de investigación abierta THUDM, construida alrededor de la receta de preentrenamiento General Language Model (GLM). Los pesos están dirigidos a texto en inglés y chino, y el repositorio de GitHub incluye código de inferencia, tareas de evaluación y puntos de control aceptados en ICLR 2023. Puedes ejecutar generación de izquierda a derecha o relleno en blanco con los tokens [MASK] y [gMASK] en hardware que quepa en un solo servidor multi-GPU en lugar de una API propietaria.

Mientras que la mayoría de los modelos de más de 100 mil millones permanecen cerrados, GLM-130B publica pesos del modelo, notas de entrenamiento y configuraciones YAML para más de 30 benchmarks. Su ruta de cuantización INT4 está ajustada para que cuatro tarjetas RTX 3090 (24GB) puedan alojar la inferencia con casi ninguna pérdida de precisión, un umbral mucho más bajo que la configuración de ocho A100 (40GB) usada para ejecuciones completas en FP16. El objetivo de entrenamiento mezcla relleno en blanco autorregresivo en el 95% de los tokens con datos de instrucciones multitarea de T0++ y DeepStruct, lo cual es una apuesta diferente al preentrenamiento causal estándar estilo GPT.

Los investigadores que estudian transferencia cero disparo bilingüe, cuantización de modelos grandes o benchmarks reproducibles de LLM obtendrán el máximo provecho de GLM-130B. El repositorio se enfoca en herramientas de evaluación e inferencia más que en un producto de chat alojado, aunque THUDM luego derivó el trabajo de diálogo en ChatGLM. Se espera que traigas tus propias GPUs, almacenamiento para un punto de control de 260GB y paciencia para el formulario de descarga de pesos.