UniLM vs ggml.ai

UniLM es un modelo de lenguaje preentrenado de Microsoft Research que maneja tanto la comprensión del lenguaje natural como la generación de texto a partir de un Transformer compartido. Afinas un único punto de control para tareas de lectura, como respuestas a preguntas, y tareas de escritura, como resumir o diálogos, sin necesidad de mantener modelos separados solo de codificador y solo de decodificador. El código y los pesos preentrenados se distribuyen a través del repositorio de GitHub microsoft/unilm bajo una licencia MIT.

Los modelos estilo BERT destacan en lectura, pero necesitan una pila de decodificador separada para la generación. UniLM entrena un Transformer con tres modos de máscara de atención: unidireccional, bidireccional y secuencia a secuencia. Ese diseño permitió que los mismos pesos compitieran con BERT en GLUE y SQuAD, al mismo tiempo que establecían puntos de referencia para resumen y generación de preguntas en 2019, una división que la mayoría de sus contemporáneos consideraban como dos problemas.

Los investigadores en ML y los ingenieros de NLP usan UniLM cuando desean acceder a puntos de referencia publicados, scripts de entrenamiento y archivos de puntos de control para comprensión y generación en una sola base de código. El repositorio ahora abarca lanzamientos posteriores como UniLMv2 (Modelo de Lenguaje de Máscara Pseudo-Máscara, ICML 2020), pero la versión v1 sigue siendo la referencia para el enfoque de enmascaramiento unificado original descrito en el artículo de NeurIPS 2019.

ggml ejecuta modelos grandes de lenguaje y voz en CPUs y GPUs comunes mediante una biblioteca compacta de tensores en C diseñada para inferencia en el dispositivo. Ingenieros de ML y desarrolladores de aplicaciones la adoptan a través de llama.cpp y whisper.cpp cuando necesitan cargas de trabajo de LLaMA o Whisper sin depender exclusivamente de la nube.

Frameworks como PyTorch están optimizados para clusters de entrenamiento y tiempos de ejecución pesados. ggml mantiene la biblioteca central mínima con cero asignaciones de memoria en tiempo de ejecución, sin dependencias de terceros y cuantización entera para que llama.cpp pueda servir pesos Meta LLaMA en laptops y Apple Silicon.

La empresa ggml.ai fue fundada en 2023 por Georgi Gerganov para apoyar la biblioteca y fue adquirida por Hugging Face en 2026. El proyecto central ggml permanece con licencia MIT y desarrollo abierto en GitHub.