Última actualización 07-27-2026
Categoría:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
UniLM
UniLM es un modelo de lenguaje preentrenado de Microsoft Research que maneja tanto la comprensión del lenguaje natural como la generación de texto a partir de un Transformer compartido. Afinas un único punto de control para tareas de lectura, como respuestas a preguntas, y tareas de escritura, como resumir o diálogos, sin necesidad de mantener modelos separados solo de codificador y solo de decodificador. El código y los pesos preentrenados se distribuyen a través del repositorio de GitHub microsoft/unilm bajo una licencia MIT.
Los modelos estilo BERT destacan en lectura, pero necesitan una pila de decodificador separada para la generación. UniLM entrena un Transformer con tres modos de máscara de atención: unidireccional, bidireccional y secuencia a secuencia. Ese diseño permitió que los mismos pesos compitieran con BERT en GLUE y SQuAD, al mismo tiempo que establecían puntos de referencia para resumen y generación de preguntas en 2019, una división que la mayoría de sus contemporáneos consideraban como dos problemas.
Los investigadores en ML y los ingenieros de NLP usan UniLM cuando desean acceder a puntos de referencia publicados, scripts de entrenamiento y archivos de puntos de control para comprensión y generación en una sola base de código. El repositorio ahora abarca lanzamientos posteriores como UniLMv2 (Modelo de Lenguaje de Máscara Pseudo-Máscara, ICML 2020), pero la versión v1 sigue siendo la referencia para el enfoque de enmascaramiento unificado original descrito en el artículo de NeurIPS 2019.
Tres objetivos de preentrenamiento (unidireccional, bidireccional, secuencia a secuencia) comparten una única arquitectura Transformer
Resumen abstractivo CNN/DailyMail con ROUGE-L de 40.51, una mejora de 2.04 puntos respecto a trabajos previos
Puntuación F1 de 82.5 en CoQA para respuesta generativa de preguntas en el benchmark publicado
Generación de preguntas SQuAD con BLEU-4 de 22.12 usando decodificación con búsqueda en haz
Puntos de control preentrenados y scripts de entrenamiento en PyTorch en el repositorio microsoft/unilm (22.2k estrellas en GitHub)
Licencia MIT con las versiones UniLM v1 y UniLM v2 en el mismo repositorio de código abierto
Un modelo pre-entrenado cubre tanto tareas de comprensión como de generación después del ajuste fino.
Números de referencia publicados en GLUE, SQuAD, CNN/DailyMail y CoQA con scripts reproducibles.
Código con licencia MIT y descargas de puntos de control a través del repositorio microsoft/unilm en GitHub.
El repositorio se convirtió en un centro más amplio de modelos base de Microsoft con UniLMv2 y publicaciones relacionadas.
Requiere PyTorch, GPUs CUDA y configuración manual en lugar de una API alojada.
Los scripts de entrenamiento originales de UniLM v1 apuntan a dependencias antiguas de pytorch-transformers v0.4.0.
No hay un servicio de inferencia gestionado; debes ejecutar el ajuste fino y la decodificación en tu propio hardware.
¿Qué es UniLM?
UniLM es un modelo de lenguaje preentrenado unificado de Microsoft Research que ajusta un Transformer para comprender y generar lenguaje natural. Fue presentado en el artículo de NeurIPS 2019 y está disponible como código abierto en GitHub.
¿UniLM es gratuito?
Sí, UniLM es gratuito. El repositorio microsoft/unilm se publica bajo la licencia MIT, y puedes descargar puntos de control preentrenados y scripts de entrenamiento sin costo.
¿Para qué tareas se puede ajustar UniLM?
UniLM soporta el ajuste fino para tareas de comprensión de lenguaje natural (NLU) como GLUE y preguntas SQuAD, además de tareas de generación de lenguaje natural (NLG) como resumen CNN/DailyMail, generación de preguntas SQuAD, preguntas generativas CoQA y generación de respuestas para diálogo DSTC7.
¿En qué se diferencia UniLM de BERT?
BERT usa atención bidireccional solo para comprensión. UniLM añade máscaras de atención unidireccional y de secuencia a secuencia, permitiendo que los mismos pesos preentrenados manejen tanto la lectura como la generación tras el ajuste fino.
¿Dónde se descargan los modelos preentrenados de UniLM?
Los puntos de control preentrenados de UniLM v1 y el código para ajuste fino están en la carpeta unilm-v1 del repositorio microsoft/unilm en GitHub. El README proporciona enlaces a archivos de puntos de control en Google Drive para los modelos base y large.
¿Qué licencia cubre el código de UniLM?
El código de UniLM se publica bajo la licencia MIT en el repositorio microsoft/unilm. Parte del código se basa en pytorch-transformers v0.4.0, y el archivo LICENSE en la raíz del repositorio define los términos.