Gopher vs GLM-130B

Descubra os avanços de ponta em inteligência artificial com a exploração dos recursos de processamento de linguagem em IA da DeepMind. No centro desta exploração está o Gopher, um modelo de linguagem de 280 bilhões de parâmetros projetado para compreender e gerar texto semelhante ao humano. A linguagem serve como o núcleo da inteligência humana, permitindo-nos expressar pensamentos, criar memórias e promover a compreensão.

Percebendo sua importância, as equipes interdisciplinares da DeepMind têm se esforçado para impulsionar o desenvolvimento de modelos de linguagem como o Gopher, equilibrando inovação com considerações éticas e de segurança. Saiba como esses modelos de linguagem estão promovendo o avanço da pesquisa em IA, melhorando o desempenho em tarefas que vão desde a compreensão de leitura até a verificação de fatos, ao mesmo tempo em que identificam limitações, como desafios de raciocínio lógico. É também dada atenção aos potenciais riscos éticos e sociais associados a grandes modelos linguísticos, incluindo a propagação de preconceitos e desinformação, e às medidas que estão a ser tomadas para mitigar esses riscos.

GLM-130B coloca um modelo bilíngue de linguagem com 130 bilhões de parâmetros na pilha de pesquisa aberta THUDM construída em torno da receita de pré-treinamento do General Language Model (GLM). Os pesos são direcionados para textos em inglês e chinês, e o repositório do GitHub disponibiliza código de inferência, tarefas de avaliação e checkpoints aceitos no ICLR 2023. Você pode executar geração da esquerda para a direita ou preenchimento em branco com tokens [MASK] e [gMASK] em hardware que caiba em um único servidor multi-GPU, em vez de uma API proprietária.

Enquanto a maioria dos modelos com mais de 100 bilhões de parâmetros permanece fechada, o GLM-130B publica pesos do modelo, notas de treinamento e configurações YAML para mais de 30 benchmarks. Seu caminho de quantização INT4 é ajustado para que quatro placas RTX 3090 (24GB) possam hospedar a inferência com quase nenhuma perda de precisão, um requisito muito menor do que a configuração com oito A100 (40GB) usada para execuções completas em FP16. O objetivo de treinamento mistura preenchimento em branco autorregressivo em 95% dos tokens com dados de instrução multitarefa do T0++ e DeepStruct, o que é uma aposta diferente do pré-treinamento causal padrão no estilo GPT.

Pesquisadores que estudam transferência zero-shot bilíngue, quantização de grandes modelos ou benchmarks reproduzíveis de LLMs obterão o máximo do GLM-130B. O repositório foca em ferramentas de avaliação e inferência em vez de um produto de chat hospedado, embora o THUDM tenha posteriormente desmembrado o trabalho de diálogo no ChatGLM. Espere trazer suas próprias GPUs, armazenamento para um checkpoint de 260GB e paciência para o formulário de download dos pesos.