Claude 3 \ Anthropic vs UniLM

Claude 3 é a família de modelos de linguagem de terceira geração da Anthropic, lançada em março de 2024. Ela inclui três diferentes níveis: Haiku, para velocidade e custo; Sonnet, para desempenho equilibrado; e Opus, para a maior profundidade de raciocínio. Cada modelo tem como foco um compromisso diferente entre inteligência, latência e preço.

A família lida com tarefas de texto, código, análise e visão. Os modelos Claude 3 processam fotos, gráficos, diagramas técnicos e tabelas. No lançamento, suportam uma janela de contexto de 200 mil tokens, com entradas que ultrapassam 1 milhão de tokens disponíveis para clientes selecionados. Opus e Sonnet foram lançados na claude.ai e na API Claude em 159 países, seguidos logo após pelo Haiku.

A Anthropic construiu o Claude 3 usando métodos de segurança de IA Constitucional e diretrizes de Responsible Scaling Policy. Os modelos estão disponíveis através da API Claude, Amazon Bedrock e Google Cloud Vertex AI. Sonnet alimenta o nível gratuito em claude.ai, enquanto Opus está disponível para assinantes do Claude Pro.

UniLM é um modelo de linguagem pré-treinado da Microsoft Research que lida tanto com compreensão de linguagem natural quanto com geração de texto a partir de um Transformer compartilhado. Você ajusta finamente uma única etapa de verificação para tarefas de leitura, como resposta a perguntas, e tarefas de escrita, como sumarização ou diálogo, sem precisar manter modelos separados apenas para codificador e apenas para decodificador. Código e pesos pré-treinados são disponibilizados através do repositório GitHub microsoft/unilm sob uma licença MIT.

Modelos no estilo BERT são excelentes para leitura, mas precisam de uma pilha de decodificador separada para geração. UniLM treina um Transformer com três modos de máscara de atenção: unidirecional, bidirecional e sequência a sequência. Esse design permite que os mesmos pesos concorram com o BERT no GLUE e no SQuAD, ao mesmo tempo que estabelecem benchmarks de sumarização e geração de perguntas em 2019, uma divisão que a maioria dos contemporâneos tratava como dois problemas.

Pesquisadores de ML e engenheiros de NLP usam UniLM quando desejam benchmarks publicados, scripts de treinamento e arquivos de verificação para compreensão e geração em um único código. O repositório agora abrange versões posteriores, como o UniLMv2 (Pseudo-Masked Language Model, ICML 2020), mas a versão 1 permanece como referência para a abordagem de máscara unificada original, descrita no artigo do NeurIPS 2019.