UniLM vs Stellaris AI

UniLM es un modelo de lenguaje preentrenado de Microsoft Research que maneja tanto la comprensión del lenguaje natural como la generación de texto a partir de un Transformer compartido. Afinas un único punto de control para tareas de lectura, como respuestas a preguntas, y tareas de escritura, como resumir o diálogos, sin necesidad de mantener modelos separados solo de codificador y solo de decodificador. El código y los pesos preentrenados se distribuyen a través del repositorio de GitHub microsoft/unilm bajo una licencia MIT.

Los modelos estilo BERT destacan en lectura, pero necesitan una pila de decodificador separada para la generación. UniLM entrena un Transformer con tres modos de máscara de atención: unidireccional, bidireccional y secuencia a secuencia. Ese diseño permitió que los mismos pesos compitieran con BERT en GLUE y SQuAD, al mismo tiempo que establecían puntos de referencia para resumen y generación de preguntas en 2019, una división que la mayoría de sus contemporáneos consideraban como dos problemas.

Los investigadores en ML y los ingenieros de NLP usan UniLM cuando desean acceder a puntos de referencia publicados, scripts de entrenamiento y archivos de puntos de control para comprensión y generación en una sola base de código. El repositorio ahora abarca lanzamientos posteriores como UniLMv2 (Modelo de Lenguaje de Máscara Pseudo-Máscara, ICML 2020), pero la versión v1 sigue siendo la referencia para el enfoque de enmascaramiento unificado original descrito en el artículo de NeurIPS 2019.

Stellaris AI desarrolla grandes modelos de lenguaje comercializados en torno a la seguridad nativa y el razonamiento similar al humano para tareas del mundo real. Su línea principal SGPT se enfoca en la generación de texto y código, preguntas y respuestas de conocimiento, razonamiento lógico y análisis a una escala que la empresa describe como cientos de miles de millones de parámetros. El sitio público se centra en una lista de espera para SGPT-4.5 en lugar de un producto de chat de autoservicio que puedas usar hoy.

Mientras que muchos laboratorios de LLM añaden filtros de seguridad después del entrenamiento, Stellaris AI considera la seguridad como parte de la pila del modelo mediante una estricta referencia a las fuentes y la minimización de daños en la arquitectura. También destaca el Aprendizaje de Contexto en Tiempo Real (RCL) para adaptar las respuestas con conocimiento en vivo, una combinación dirigida a equipos que desean salidas citadas en lugar de generación sin control.

Investigadores, equipos de IA empresarial y primeros usuarios se unen a la lista de espera de SGPT-4.5 para obtener acceso prioritario. La empresa menciona más de 10 años de investigación y tres pilares principales de producto: Stellaris GPT, Seguridad Nativa y RCL.