ALBERT vs GPT-4

ALBERT, abreviação de "A Lite BERT", é uma versão otimizada do modelo BERT amplamente utilizado para tarefas de processamento de linguagem natural. Apresentado no artigo arXiv de Zhenzhong Lan e colegas, ALBERT oferece duas técnicas de redução de parâmetros que diminuem significativamente o consumo de memória e aumentam a velocidade de treinamento do BERT sem sacrificar o desempenho.

Esse avanço aborda o desafio das limitações de memória GPU/TPU e dos tempos de treinamento normalmente longos associados ao aumento do tamanho dos modelos. O artigo demonstra, por meio de evidências empíricas, que o ALBERT não apenas tem um desempenho melhor que o BERT em uma variedade de benchmarks, como GLUE, RACE e SQuAD, mas também alcança resultados de última geração com uma contagem menor de parâmetros. A pesquisa introduz ainda uma função de perda auto-supervisionada que aumenta a capacidade do modelo de compreender a coerência entre frases, levando a uma melhoria substancial em tarefas que exigem entradas de várias frases. Os autores fornecem o código e os modelos pré-treinados para ALBERT, tornando-os acessíveis para uso generalizado na comunidade de PNL.

O GPT-4 é o mais recente marco no esforço da Openai para aumentar o aprendizado profundo.

O GPT-4 é um grande modelo multimodal (aceitando entradas de imagem e texto, emitindo saídas de texto) que, embora menos capazes do que os seres humanos em muitos cenários do mundo real, exibe desempenho em nível humano em vários benchmarks profissionais e acadêmicos. Por exemplo, ele passa um exame de barra simulado com uma pontuação nos 10% dos participantes do teste; Por outro lado, a pontuação do GPT-3.5 foi de 10%inferior. Passamos 6 meses alinhando iterativamente o GPT-4 usando lições de nosso programa de testes adversários e ChatGPT, resultando em nossos melhores resultados de sempre (embora longe de ser perfeita) na factualidade, na direção e nos recusar a sair dos corrimãos.

O GPT-4 é mais criativo e colaborativo do que nunca. Ele pode gerar, editar e iterar com os usuários em tarefas de escrita criativa e técnica, como compor músicas, escrever roteiros ou aprender o estilo de escrita de um usuário.