Última atualização 07-27-2026
Categoria:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
UniLM
UniLM é um modelo de linguagem pré-treinado da Microsoft Research que lida tanto com compreensão de linguagem natural quanto com geração de texto a partir de um Transformer compartilhado. Você ajusta finamente uma única etapa de verificação para tarefas de leitura, como resposta a perguntas, e tarefas de escrita, como sumarização ou diálogo, sem precisar manter modelos separados apenas para codificador e apenas para decodificador. Código e pesos pré-treinados são disponibilizados através do repositório GitHub microsoft/unilm sob uma licença MIT.
Modelos no estilo BERT são excelentes para leitura, mas precisam de uma pilha de decodificador separada para geração. UniLM treina um Transformer com três modos de máscara de atenção: unidirecional, bidirecional e sequência a sequência. Esse design permite que os mesmos pesos concorram com o BERT no GLUE e no SQuAD, ao mesmo tempo que estabelecem benchmarks de sumarização e geração de perguntas em 2019, uma divisão que a maioria dos contemporâneos tratava como dois problemas.
Pesquisadores de ML e engenheiros de NLP usam UniLM quando desejam benchmarks publicados, scripts de treinamento e arquivos de verificação para compreensão e geração em um único código. O repositório agora abrange versões posteriores, como o UniLMv2 (Pseudo-Masked Language Model, ICML 2020), mas a versão 1 permanece como referência para a abordagem de máscara unificada original, descrita no artigo do NeurIPS 2019.
Três objetivos de pré-treinamento (unidirecional, bidirecional, sequência-para-sequência) compartilham uma única arquitetura Transformer
Resumo abstrativo CNN/DailyMail ROUGE-L de 40,51, um ganho de 2,04 pontos em relação ao trabalho anterior
Pontuação F1 de 82,5 em pergunta e resposta generativa CoQA no benchmark publicado
Geração de perguntas SQuAD BLEU-4 de 22,12 com decodificação beam search
Checkpoints pré-treinados e scripts de treinamento PyTorch no repositório microsoft/unilm (22,2 mil estrelas no GitHub)
Licença MIT com os códigos UniLM v1 e UniLMv2 no mesmo repositório open-source
Um modelo pré-treinado cobre tanto tarefas de compreensão quanto de geração após fine-tuning.
Números de benchmark publicados no GLUE, SQuAD, CNN/DailyMail e CoQA com scripts reprodutíveis.
Código com licença MIT e downloads de checkpoints disponíveis no repositório microsoft/unilm no GitHub.
O repositório evoluiu para um hub mais amplo de modelos base da Microsoft com UniLMv2 e lançamentos relacionados.
Requer PyTorch, GPUs CUDA e configuração manual em vez de uma API hospedada.
Os scripts originais de treinamento do UniLM v1 são direcionados para dependências antigas do pytorch-transformers v0.4.0.
Sem serviço gerenciado de inferência; você realiza o fine-tuning e a decodificação no seu próprio hardware.
O que é o UniLM?
UniLM é um modelo de linguagem pré-treinado unificado da Microsoft Research que ajusta um único Transformer tanto para compreensão quanto para geração de linguagem natural. Foi apresentado no artigo do NeurIPS 2019 e é disponibilizado como código open-source no GitHub.
O UniLM é gratuito para usar?
Sim, o UniLM é gratuito. O repositório microsoft/unilm é lançado sob a licença MIT, e você pode baixar pontos de verificação pré-treinados e scripts de treinamento sem custo.
Para quais tarefas você pode ajustar o UniLM?
O UniLM suporta ajuste para tarefas de NLU como GLUE e respostas a perguntas do SQuAD, além de tarefas de NLG como sumarização CNN/DailyMail, geração de perguntas SQuAD, QA generativo CoQA e geração de respostas em diálogos DSTC7.
Como o UniLM é diferente do BERT?
O BERT usa atenção bidirecional apenas para compreensão. O UniLM adiciona máscaras de atenção unidirecional e sequence-to-sequence para que os mesmos pesos pré-treinados possam lidar tanto com leitura quanto geração após o ajuste fino.
Onde você pode baixar os modelos pré-treinados do UniLM?
Os pontos de verificação pré-treinados do UniLM v1 e o código de ajuste fino estão na pasta unilm-v1 do repositório microsoft/unilm no GitHub. O README contém links para arquivos de ponto de verificação no Google Drive para os modelos base e large.
Qual licença cobre o código do UniLM?
O código do UniLM é lançado sob a licença MIT no repositório microsoft/unilm. Partes do código são baseadas no pytorch-transformers v0.4.0, e o arquivo LICENSE no diretório raiz do repositório define os termos.