GLM-130B vs GPT-4

O GLM-130B, apresentado no ICLR 2023, representa um modelo pré-treinado bilíngue aberto inovador que se destaca por seus impressionantes 130 bilhões de parâmetros. Desenvolvido para modelagem densa bidirecional em inglês e chinês, o GLM-130B aproveita o algoritmo General Language Model (GLM) para pré-treinamento e é otimizado para executar tarefas de inferência em uma configuração de servidor único, seja ele o A100 (40G * 8) ou o V100 (32G * 8). Além disso, sua compatibilidade com a quantização INT4 significa que os já modestos requisitos de hardware podem ser reduzidos ainda mais, permitindo que um servidor com 4*RTX 3090 (24G) suporte o modelo com degradação mínima de desempenho.

Como parte do seu processo de treinamento, o GLM-130B digeriu um extenso conjunto de dados que consiste em mais de 400 bilhões de tokens de texto, divididos igualmente entre chinês e inglês. Possui suporte bilíngue excepcional, desempenho superior em vários conjuntos de dados quando comparado com seus equivalentes e oferece tempos de inferência rápidos. Além disso, este repositório também promove a reprodutibilidade, facilitando o código-fonte aberto e pontos de verificação de modelo para mais de 30 tarefas.

O GPT-4 é o mais recente marco no esforço da Openai para aumentar o aprendizado profundo.

O GPT-4 é um grande modelo multimodal (aceitando entradas de imagem e texto, emitindo saídas de texto) que, embora menos capazes do que os seres humanos em muitos cenários do mundo real, exibe desempenho em nível humano em vários benchmarks profissionais e acadêmicos. Por exemplo, ele passa um exame de barra simulado com uma pontuação nos 10% dos participantes do teste; Por outro lado, a pontuação do GPT-3.5 foi de 10%inferior. Passamos 6 meses alinhando iterativamente o GPT-4 usando lições de nosso programa de testes adversários e ChatGPT, resultando em nossos melhores resultados de sempre (embora longe de ser perfeita) na factualidade, na direção e nos recusar a sair dos corrimãos.

O GPT-4 é mais criativo e colaborativo do que nunca. Ele pode gerar, editar e iterar com os usuários em tarefas de escrita criativa e técnica, como compor músicas, escrever roteiros ou aprender o estilo de escrita de um usuário.