APIPark vs GLM-130B

APIPark é um gateway LLM de código aberto e portal de desenvolvimento de API para empresas que precisam de um único lugar para chamar, governar e cobrar modelos de IA e APIs internas. Ele direciona o tráfego para mais de 200 grandes modelos de linguagem através de um único endpoint compatível com OpenAI, para que as equipes parem de integrar SDKs de fornecedores separados para cada modelo que adicionam.

Enquanto a maioria dos gateways de API apenas encaminha solicitações, o APIPark também trata modelos e APIs como ativos negociáveis. Ele reúne autenticação unificada, fluxos de aprovação, cobrança por recarga, distribuição em múltiplos níveis e relatórios de lucro para que as equipes de plataforma possam vender capacidade excedente de modelos ou empacotar APIs de negócios sem construir uma pilha de marketplace separada.

Engenheiros de plataforma e equipes de IA o utilizam para definir cotas por cliente, limites de taxa e regras de mascaramento antes que o tráfego de produção atinja os modelos upstream. Gerentes de API obtêm portais para publicar APIs, acompanhar uso e aprovar solicitações de acesso. A Edição Comunitária cobre recursos básicos de gateway e portal; a Edição Empresarial adiciona governança avançada, estatísticas em tempo real e suporte premium.

GLM-130B coloca um modelo bilíngue de linguagem com 130 bilhões de parâmetros na pilha de pesquisa aberta THUDM construída em torno da receita de pré-treinamento do General Language Model (GLM). Os pesos são direcionados para textos em inglês e chinês, e o repositório do GitHub disponibiliza código de inferência, tarefas de avaliação e checkpoints aceitos no ICLR 2023. Você pode executar geração da esquerda para a direita ou preenchimento em branco com tokens [MASK] e [gMASK] em hardware que caiba em um único servidor multi-GPU, em vez de uma API proprietária.

Enquanto a maioria dos modelos com mais de 100 bilhões de parâmetros permanece fechada, o GLM-130B publica pesos do modelo, notas de treinamento e configurações YAML para mais de 30 benchmarks. Seu caminho de quantização INT4 é ajustado para que quatro placas RTX 3090 (24GB) possam hospedar a inferência com quase nenhuma perda de precisão, um requisito muito menor do que a configuração com oito A100 (40GB) usada para execuções completas em FP16. O objetivo de treinamento mistura preenchimento em branco autorregressivo em 95% dos tokens com dados de instrução multitarefa do T0++ e DeepStruct, o que é uma aposta diferente do pré-treinamento causal padrão no estilo GPT.

Pesquisadores que estudam transferência zero-shot bilíngue, quantização de grandes modelos ou benchmarks reproduzíveis de LLMs obterão o máximo do GLM-130B. O repositório foca em ferramentas de avaliação e inferência em vez de um produto de chat hospedado, embora o THUDM tenha posteriormente desmembrado o trabalho de diálogo no ChatGLM. Espere trazer suas próprias GPUs, armazenamento para um checkpoint de 260GB e paciência para o formulário de download dos pesos.