UniLM vs Stellaris AI

UniLM é um modelo de linguagem pré-treinado da Microsoft Research que lida tanto com compreensão de linguagem natural quanto com geração de texto a partir de um Transformer compartilhado. Você ajusta finamente uma única etapa de verificação para tarefas de leitura, como resposta a perguntas, e tarefas de escrita, como sumarização ou diálogo, sem precisar manter modelos separados apenas para codificador e apenas para decodificador. Código e pesos pré-treinados são disponibilizados através do repositório GitHub microsoft/unilm sob uma licença MIT.

Modelos no estilo BERT são excelentes para leitura, mas precisam de uma pilha de decodificador separada para geração. UniLM treina um Transformer com três modos de máscara de atenção: unidirecional, bidirecional e sequência a sequência. Esse design permite que os mesmos pesos concorram com o BERT no GLUE e no SQuAD, ao mesmo tempo que estabelecem benchmarks de sumarização e geração de perguntas em 2019, uma divisão que a maioria dos contemporâneos tratava como dois problemas.

Pesquisadores de ML e engenheiros de NLP usam UniLM quando desejam benchmarks publicados, scripts de treinamento e arquivos de verificação para compreensão e geração em um único código. O repositório agora abrange versões posteriores, como o UniLMv2 (Pseudo-Masked Language Model, ICML 2020), mas a versão 1 permanece como referência para a abordagem de máscara unificada original, descrita no artigo do NeurIPS 2019.

Stellaris AI desenvolve grandes modelos de linguagem comercializados com foco em segurança nativa e raciocínio semelhante ao humano para tarefas do mundo real. Sua linha principal SGPT é direcionada para geração de texto e código, perguntas e respostas de conhecimento, raciocínio lógico e análises em uma escala que a empresa descreve como centenas de bilhões de parâmetros. O site público é centrado em uma lista de espera para o SGPT-4.5, em vez de um produto de chat de autoatendimento que você possa usar hoje.

Enquanto muitos laboratórios de LLM adicionam filtros de segurança após o treinamento, a Stellaris AI considera a segurança como parte da pilha do modelo por meio de referência rigorosa de fontes e minimização de danos na arquitetura. Também destaca o Aprendizado de Contexto em Tempo Real (RCL) para adaptar respostas com conhecimento ao vivo, uma combinação voltada para equipes que desejam saídas citadas em vez de geração não verificada.

Pesquisadores, equipes de IA empresarial e adotantes iniciais entram na lista de espera do SGPT-4.5 para acesso prioritário. A empresa cita mais de 10 anos de pesquisa e três pilares principais de produto: Stellaris GPT, Segurança Nativa e RCL.