GLM-130B vs Stellaris AI

GLM-130B coloca um modelo bilíngue de linguagem com 130 bilhões de parâmetros na pilha de pesquisa aberta THUDM construída em torno da receita de pré-treinamento do General Language Model (GLM). Os pesos são direcionados para textos em inglês e chinês, e o repositório do GitHub disponibiliza código de inferência, tarefas de avaliação e checkpoints aceitos no ICLR 2023. Você pode executar geração da esquerda para a direita ou preenchimento em branco com tokens [MASK] e [gMASK] em hardware que caiba em um único servidor multi-GPU, em vez de uma API proprietária.

Enquanto a maioria dos modelos com mais de 100 bilhões de parâmetros permanece fechada, o GLM-130B publica pesos do modelo, notas de treinamento e configurações YAML para mais de 30 benchmarks. Seu caminho de quantização INT4 é ajustado para que quatro placas RTX 3090 (24GB) possam hospedar a inferência com quase nenhuma perda de precisão, um requisito muito menor do que a configuração com oito A100 (40GB) usada para execuções completas em FP16. O objetivo de treinamento mistura preenchimento em branco autorregressivo em 95% dos tokens com dados de instrução multitarefa do T0++ e DeepStruct, o que é uma aposta diferente do pré-treinamento causal padrão no estilo GPT.

Pesquisadores que estudam transferência zero-shot bilíngue, quantização de grandes modelos ou benchmarks reproduzíveis de LLMs obterão o máximo do GLM-130B. O repositório foca em ferramentas de avaliação e inferência em vez de um produto de chat hospedado, embora o THUDM tenha posteriormente desmembrado o trabalho de diálogo no ChatGLM. Espere trazer suas próprias GPUs, armazenamento para um checkpoint de 260GB e paciência para o formulário de download dos pesos.

Stellaris AI desenvolve grandes modelos de linguagem comercializados com foco em segurança nativa e raciocínio semelhante ao humano para tarefas do mundo real. Sua linha principal SGPT é direcionada para geração de texto e código, perguntas e respostas de conhecimento, raciocínio lógico e análises em uma escala que a empresa descreve como centenas de bilhões de parâmetros. O site público é centrado em uma lista de espera para o SGPT-4.5, em vez de um produto de chat de autoatendimento que você possa usar hoje.

Enquanto muitos laboratórios de LLM adicionam filtros de segurança após o treinamento, a Stellaris AI considera a segurança como parte da pilha do modelo por meio de referência rigorosa de fontes e minimização de danos na arquitetura. Também destaca o Aprendizado de Contexto em Tempo Real (RCL) para adaptar respostas com conhecimento ao vivo, uma combinação voltada para equipes que desejam saídas citadas em vez de geração não verificada.

Pesquisadores, equipes de IA empresarial e adotantes iniciais entram na lista de espera do SGPT-4.5 para acesso prioritário. A empresa cita mais de 10 anos de pesquisa e três pilares principais de produto: Stellaris GPT, Segurança Nativa e RCL.