LiteLLM vs ggml.ai

LiteLLM é um gateway de IA auto-hospedado e proxy LLM que fica entre seus aplicativos e os provedores de modelos. Você direciona os clientes para um endpoint compatível com OpenAI, e o gateway gerencia o roteamento, registro e controles de gastos em mais de 140 backends. Equipes da Netflix, NVIDIA e Okta o utilizam para padronizar o acesso a modelos sem precisar reconstruir cada serviço quando um provedor muda.

Enquanto proxies hospedados cobram por token e mantêm as chaves na nuvem deles, o LiteLLM roda na sua VPC ou em um cluster isolado sob licença MIT. Orçamentos e limites de RPM/TPM são bloqueios rígidos, não alertas, então uma chave vazada ou trabalho descontrolado não pode continuar gastando após atingir o limite.

Equipes de plataforma e infraestrutura de ML recorrem a ele quando precisam de uma única porta de entrada para humanos, agentes e trabalhos em lote. O mesmo gateway cobre chamadas LLM, servidores MCP e fluxos de trabalho de agentes, com SSO empresarial, logs de auditoria e SLAs quando a implantação é em toda a empresa.

ggml executa modelos grandes de linguagem e fala em CPUs e GPUs comuns por meio de uma biblioteca compacta de tensores em C, construída para inferência no dispositivo. Engenheiros de ML e desenvolvedores de aplicativos a adotam via llama.cpp e whisper.cpp quando desejam cargas de trabalho LLaMA ou Whisper sem dependências exclusivas de nuvem.

Frameworks como PyTorch são otimizados para clusters de treinamento e tempos de execução pesados. ggml mantém a biblioteca principal minimalista, sem alocações de memória em tempo de execução, sem dependências de terceiros e com quantização inteira para que o llama.cpp possa servir pesos Meta LLaMA em laptops e Apple Silicon.

A empresa ggml.ai foi fundada em 2023 por Georgi Gerganov para dar suporte à biblioteca e foi adquirida pela Hugging Face em 2026. O projeto principal ggml permanece licenciado sob MIT com desenvolvimento aberto no GitHub.