GLM-130B vs ggml.ai

GLM-130B ofrece un modelo de lenguaje bilingüe de 130 mil millones de parámetros en la pila de investigación abierta THUDM, construida alrededor de la receta de preentrenamiento General Language Model (GLM). Los pesos están dirigidos a texto en inglés y chino, y el repositorio de GitHub incluye código de inferencia, tareas de evaluación y puntos de control aceptados en ICLR 2023. Puedes ejecutar generación de izquierda a derecha o relleno en blanco con los tokens [MASK] y [gMASK] en hardware que quepa en un solo servidor multi-GPU en lugar de una API propietaria.

Mientras que la mayoría de los modelos de más de 100 mil millones permanecen cerrados, GLM-130B publica pesos del modelo, notas de entrenamiento y configuraciones YAML para más de 30 benchmarks. Su ruta de cuantización INT4 está ajustada para que cuatro tarjetas RTX 3090 (24GB) puedan alojar la inferencia con casi ninguna pérdida de precisión, un umbral mucho más bajo que la configuración de ocho A100 (40GB) usada para ejecuciones completas en FP16. El objetivo de entrenamiento mezcla relleno en blanco autorregresivo en el 95% de los tokens con datos de instrucciones multitarea de T0++ y DeepStruct, lo cual es una apuesta diferente al preentrenamiento causal estándar estilo GPT.

Los investigadores que estudian transferencia cero disparo bilingüe, cuantización de modelos grandes o benchmarks reproducibles de LLM obtendrán el máximo provecho de GLM-130B. El repositorio se enfoca en herramientas de evaluación e inferencia más que en un producto de chat alojado, aunque THUDM luego derivó el trabajo de diálogo en ChatGLM. Se espera que traigas tus propias GPUs, almacenamiento para un punto de control de 260GB y paciencia para el formulario de descarga de pesos.

ggml.ai está a la vanguardia de la tecnología de inteligencia artificial y ofrece poderosas capacidades de aprendizaje automático directamente al borde con su innovadora biblioteca de tensores. Creado para admitir modelos grandes y alto rendimiento en plataformas de hardware comunes, ggml.ai permite a los desarrolladores implementar algoritmos de IA avanzados sin la necesidad de equipos especializados. La plataforma, escrita en el eficiente lenguaje de programación C, ofrece soporte de cuantificación de números enteros y flotantes de 16 bits, junto con diferenciación automática y varios algoritmos de optimización integrados como ADAM y L-BFGS. Ofrece un rendimiento optimizado para Apple Silicon y aprovecha los elementos intrínsecos de AVX/AVX2 en arquitecturas x86. Las aplicaciones basadas en web también pueden explotar sus capacidades a través de WebAssembly y la compatibilidad con WASM SIMD. Con sus asignaciones de memoria de tiempo de ejecución cero y la ausencia de dependencias de terceros, ggml.ai presenta una solución mínima y eficiente para la inferencia en el dispositivo.

Proyectos como susurro.cpp y llama.cpp demuestran las capacidades de inferencia de alto rendimiento de ggml.ai, con susurro.cpp proporcionando soluciones de voz a texto y llama.cpp centrándose en la inferencia eficiente del modelo de lenguaje grande LLaMA de Meta. Además, la empresa agradece las contribuciones a su código base y admite un modelo de desarrollo de núcleo abierto a través de la licencia MIT. A medida que ggml.ai continúa expandiéndose, busca desarrolladores talentosos de tiempo completo con una visión compartida de la inferencia en el dispositivo para unirse a su equipo.

Diseñado para llevar la IA al límite, ggml.ai es un testimonio del espíritu de juego e innovación en la comunidad de IA.