Galactica vs GPT-4

Cinco checkpoints de pesos abertos de 125M a 120B parâmetros oferecem aos pesquisadores um modelo de linguagem treinado em ciência, construído a partir de 106 bilhões de tokens selecionados em 48 milhões de artigos, livros didáticos, enciclopédias e bases de conhecimento. Galactica armazena, combina e raciocina através de modalidades incluindo LaTeX, código Python, fórmulas SMILES e sequências de aminoácidos dentro de uma arquitetura Transformer apenas com decodificador. A equipe Papers with Code da Meta disponibilizou os pesos para pesquisadores que desejam estudar como modelos de linguagem organizam o conhecimento científico.

Modelos de linguagem geral treinam em amplas varreduras da web onde conversas sociais podem dominar o orçamento de tokens. Galactica usou apenas fontes científicas de acesso aberto selecionadas, o que o artigo argumenta permitir treinar por múltiplas épocas sem overfitting. A Meta removeu a demonstração pública na web três dias após o lançamento em novembro de 2022, quando críticos mostraram citações e equações confiantes, porém fabricadas, então hoje você baixa checkpoints do Hugging Face em vez de conversar por uma interface hospedada.

Pesquisadores de aprendizado de máquina podem reproduzir números de benchmark do artigo do arXiv, incluindo 77,6% no PubMedQA e 52,9% no MedMCQA dev. Biólogos computacionais e químicos podem testar tarefas de anotação de proteínas e moléculas através dos tokens especializados do Galactica para sequências de aminoácidos e strings SMILES. Estudantes de pós-graduação explorando QA científico, predição de citações ou problemas matemáticos em texto podem experimentar tamanhos de até 120 bilhões de parâmetros sem treinar do zero.

GPT-4 é o grande modelo de linguagem da OpenAI desenvolvido para raciocínio avançado, seguimento de instruções e respostas mais seguras em tarefas de texto. A OpenAI o posiciona como o sucessor na linha de pesquisa GPT e o disponibiliza através do ChatGPT Plus e da API para desenvolvedores. A página do produto destaca o trabalho de alinhamento com feedback humano e revisão especializada antes do lançamento.

Comparado com os modelos de chat GPT-3.5 anteriores, o GPT-4 enfatiza ganhos mensuráveis em segurança e factualidade em vez de apenas a contagem bruta de parâmetros. A OpenAI relata que ele é 82% menos propenso a responder a solicitações proibidas e 40% mais provável de fornecer respostas factuais em testes internos em comparação com o GPT-3.5. Essa troca é direcionada a equipes que precisam de proteções mais fortes, mesmo que a latência e o custo sejam maiores do que em modelos menores.

O GPT-4 aparece em casos de uso em produção da Duolingo, Be My Eyes, Stripe e gestão de patrimônio da Morgan Stanley no site da OpenAI. Desenvolvedores acessam-no pela plataforma API, enquanto assinantes do ChatGPT Plus o utilizam dentro do produto de chat. A OpenAI observa limitações contínuas relacionadas a viés, alucinações e prompts adversariais que permanecem sob pesquisa ativa.