Llama 2 vs GPT-4

A próxima geração do nosso modelo de linguagem grande de código aberto

Esta versão inclui pesos de modelo e código inicial para modelos de linguagem Llama pré-treinados e ajustados – variando de parâmetros de 7B a 70B.

O Llama 2 foi treinado com 40% mais dados do que o Llama 1 e tem o dobro do comprimento do contexto.

Treinamento Llama-2-chat: Llama 2 é pré-treinado usando dados online disponíveis publicamente. Uma versão inicial do Llama-2-chat é então criada através do uso de ajuste fino supervisionado. Em seguida, o Llama-2-chat é refinado iterativamente usando Reinforcement Learning from Human Feedback (RLHF), que inclui amostragem de rejeição e otimização de política proximal (PPO).

A Meta e a Microsoft fizeram parceria para revelar o Llama 2, o sucessor de código aberto de seu modelo de linguagem grande amplamente utilizado, o Llama. Este modelo inovador foi projetado para aprimorar os recursos da IA, oferecendo-a gratuitamente para pesquisa e uso comercial. Reconhecida como parceira preferencial, a Microsoft está integrando o Llama 2 em seu catálogo de modelos Azure AI, fornecendo aos desenvolvedores ferramentas robustas nativas da nuvem e otimização para plataformas Windows.

Llama 2 também pode ser acessado por meio de outros provedores importantes, como AWS e Hugging Face. Dedicadas à inovação responsável da IA, a Meta e a Microsoft enfatizam a transparência e o desenvolvimento orientado para a comunidade com recursos como exercícios de red-teaming, um esquema de transparência e um guia de utilização responsável. Iniciativas colaborativas como a Open Innovation AI Research Community e o Llama Impact Challenge também fazem parte do lançamento, com o objetivo de estimular aplicações responsáveis do Llama 2 em vários setores.

O GPT-4 é o mais recente marco no esforço da Openai para aumentar o aprendizado profundo.

O GPT-4 é um grande modelo multimodal (aceitando entradas de imagem e texto, emitindo saídas de texto) que, embora menos capazes do que os seres humanos em muitos cenários do mundo real, exibe desempenho em nível humano em vários benchmarks profissionais e acadêmicos. Por exemplo, ele passa um exame de barra simulado com uma pontuação nos 10% dos participantes do teste; Por outro lado, a pontuação do GPT-3.5 foi de 10%inferior. Passamos 6 meses alinhando iterativamente o GPT-4 usando lições de nosso programa de testes adversários e ChatGPT, resultando em nossos melhores resultados de sempre (embora longe de ser perfeita) na factualidade, na direção e nos recusar a sair dos corrimãos.

O GPT-4 é mais criativo e colaborativo do que nunca. Ele pode gerar, editar e iterar com os usuários em tarefas de escrita criativa e técnica, como compor músicas, escrever roteiros ou aprender o estilo de escrita de um usuário.