UniLM vs GPT-4

Este artigo apresenta o UniLM, um modelo de linguagem unificado pré-treinado, que serve como uma nova referência para tarefas de compreensão de linguagem natural (NLU) e geração de linguagem natural (NLG). É único no uso de uma rede Transformer compartilhada que é pré-treinada em tarefas unidirecionais, bidirecionais e sequência a sequência, empregando máscaras especiais de autoatenção para controle de previsão contextual. UniLM supera BERT no benchmark GLUE e se destaca em respostas a perguntas SQuAD 2.0 e CoQA, estabelecendo novos recordes em cinco conjuntos de dados NLG, incluindo melhorias notáveis em tarefas de resumo CNN/DailyMail e Gigaword. Os modelos e códigos compartilhados pelos autores auxiliam a comunidade de pesquisa em avanços futuros.

O GPT-4 é o mais recente marco no esforço da Openai para aumentar o aprendizado profundo.

O GPT-4 é um grande modelo multimodal (aceitando entradas de imagem e texto, emitindo saídas de texto) que, embora menos capazes do que os seres humanos em muitos cenários do mundo real, exibe desempenho em nível humano em vários benchmarks profissionais e acadêmicos. Por exemplo, ele passa um exame de barra simulado com uma pontuação nos 10% dos participantes do teste; Por outro lado, a pontuação do GPT-3.5 foi de 10%inferior. Passamos 6 meses alinhando iterativamente o GPT-4 usando lições de nosso programa de testes adversários e ChatGPT, resultando em nossos melhores resultados de sempre (embora longe de ser perfeita) na factualidade, na direção e nos recusar a sair dos corrimãos.

O GPT-4 é mais criativo e colaborativo do que nunca. Ele pode gerar, editar e iterar com os usuários em tarefas de escrita criativa e técnica, como compor músicas, escrever roteiros ou aprender o estilo de escrita de um usuário.