Última atualização 02-10-2024
Categoria:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Llama 2
A próxima geração do nosso modelo de linguagem grande de código aberto
Esta versão inclui pesos de modelo e código inicial para modelos de linguagem Llama pré-treinados e ajustados – variando de parâmetros de 7B a 70B.
O Llama 2 foi treinado com 40% mais dados do que o Llama 1 e tem o dobro do comprimento do contexto.
Treinamento Llama-2-chat: Llama 2 é pré-treinado usando dados online disponíveis publicamente. Uma versão inicial do Llama-2-chat é então criada através do uso de ajuste fino supervisionado. Em seguida, o Llama-2-chat é refinado iterativamente usando Reinforcement Learning from Human Feedback (RLHF), que inclui amostragem de rejeição e otimização de política proximal (PPO).
A Meta e a Microsoft fizeram parceria para revelar o Llama 2, o sucessor de código aberto de seu modelo de linguagem grande amplamente utilizado, o Llama. Este modelo inovador foi projetado para aprimorar os recursos da IA, oferecendo-a gratuitamente para pesquisa e uso comercial. Reconhecida como parceira preferencial, a Microsoft está integrando o Llama 2 em seu catálogo de modelos Azure AI, fornecendo aos desenvolvedores ferramentas robustas nativas da nuvem e otimização para plataformas Windows.
Llama 2 também pode ser acessado por meio de outros provedores importantes, como AWS e Hugging Face. Dedicadas à inovação responsável da IA, a Meta e a Microsoft enfatizam a transparência e o desenvolvimento orientado para a comunidade com recursos como exercícios de red-teaming, um esquema de transparência e um guia de utilização responsável. Iniciativas colaborativas como a Open Innovation AI Research Community e o Llama Impact Challenge também fazem parte do lançamento, com o objetivo de estimular aplicações responsáveis do Llama 2 em vários setores.
Os modelos Llama 2 são treinados em 2 trilhões de tokens e têm o dobro do comprimento de contexto do Llama 1. Os modelos de bate-papo Llama-2 também foram treinados em mais de 1 milhão de novas anotações humanas.
O Llama 2 supera outros modelos de linguagem de código aberto em muitos benchmarks externos, incluindo testes de raciocínio, codificação, proficiência e conhecimento.
Llama-2-chat usa aprendizagem por reforço a partir de feedback humano para garantir segurança e utilidade.
Acesso gratuito: Llama 2 está disponível gratuitamente para pesquisa e empreendimentos comerciais.
Parceria Aprimorada: A Meta selecionou a Microsoft como parceira preferencial para o modelo Llama 2.
Inovação de código aberto: Enfatizando um espírito de código aberto, a Meta e a Microsoft apoiam os avanços de IA impulsionados pela comunidade.
Suporte abrangente: Recursos como red-teaming, esquemas de transparência e um guia de uso responsável são fornecidos para promover o uso seguro e responsável da IA.
Envolvimento da comunidade: Iniciativas como a Open Innovation AI Research Community e o Llama Impact Challenge para impulsionar o progresso coletivo no desenvolvimento da IA
1) Por que a Meta e a Microsoft acreditam em uma abordagem de código aberto para IA?
A Meta e a Microsoft defendem uma abordagem de código aberto para facilitar avanços rápidos e a resolução coletiva de problemas no desenvolvimento de IA.
2) Que medidas estão sendo tomadas para garantir o uso responsável do Llama 2?
Llama 2 apresenta exercícios de equipe vermelha, esquemas de transparência e um guia de uso responsável, entre outros recursos para garantir segurança e responsabilidade.
3) Onde os desenvolvedores podem acessar o Llama 2?
O Llama 2 está disponível no Microsoft Azure, AWS, Hugging Face e outros provedores de serviços em nuvem.