Última atualização 07-28-2026
Categoria:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
LiteLLM
LiteLLM é um gateway de IA auto-hospedado e proxy LLM que fica entre seus aplicativos e os provedores de modelos. Você direciona os clientes para um endpoint compatível com OpenAI, e o gateway gerencia o roteamento, registro e controles de gastos em mais de 140 backends. Equipes da Netflix, NVIDIA e Okta o utilizam para padronizar o acesso a modelos sem precisar reconstruir cada serviço quando um provedor muda.
Enquanto proxies hospedados cobram por token e mantêm as chaves na nuvem deles, o LiteLLM roda na sua VPC ou em um cluster isolado sob licença MIT. Orçamentos e limites de RPM/TPM são bloqueios rígidos, não alertas, então uma chave vazada ou trabalho descontrolado não pode continuar gastando após atingir o limite.
Equipes de plataforma e infraestrutura de ML recorrem a ele quando precisam de uma única porta de entrada para humanos, agentes e trabalhos em lote. O mesmo gateway cobre chamadas LLM, servidores MCP e fluxos de trabalho de agentes, com SSO empresarial, logs de auditoria e SLAs quando a implantação é em toda a empresa.
Uma API compatível com OpenAI direciona solicitações para mais de 140 provedores e 1.892 modelos
Orçamentos rígidos mais limites de RPM e TPM por chave, equipe e organização interrompem o tráfego no limite
Gateway auto-hospedado licenciado pelo MIT com mais de 240M de pulls no Docker e suporte a implantação isolada
Rust AI Gateway adiciona 0,66 ms de latência p99 em mais de 2.800 solicitações por segundo em benchmarks publicados
Barreiras integradas cobrem mascaramento de PII e verificações de injeção de prompt via Presidio e Lakera
Chaves virtuais, rastreamento de gastos e métricas Prometheus são enviados na camada de código aberto gratuita
Gateway de código aberto licenciado pelo MIT que você pode hospedar sozinho sem taxa por token.
Troque modelos de backend por configuração ao invés de reescrever o código da aplicação.
Orçamentos rígidos e limites de taxa interrompem solicitações quando uma chave ou equipe atinge seu limite.
Um endpoint compatível com OpenAI cobre mais de 140 provedores, servidores MCP e fluxos de trabalho de agentes.
Benchmarks publicados mostram uma sobrecarga de gateway de 0,66 ms p99 na compilação Rust.
SSO empresarial, SCIM e logs de auditoria requerem uma licença anual paga.
Implantações auto-hospedadas precisam do seu próprio Postgres, Redis e manutenção operacional.
Barreiras avançadas e integrações de gerenciadores de segredos exigem configuração deliberada.
LiteLLM é gratuito para usar?
Sim. O gateway open-source do LiteLLM é gratuito para auto-hospedagem sem taxa de licença. O plano Open Source de $0 inclui mais de 100 integrações de provedores, chaves virtuais, orçamentos, limites de taxa, registro de logs e métricas Prometheus.
Como é o preço do LiteLLM Enterprise?
O LiteLLM Enterprise é precificado pela capacidade anual de requisições do gateway, arquitetura de implantação e necessidades de suporte, não por token. Contate as vendas para um orçamento ou inicie uma chave de teste Enterprise de 30 dias na página Enterprise.
O LiteLLM pode funcionar isolado da internet?
Sim. O LiteLLM suporta implantações auto-hospedadas e isoladas (air-gapped) nos planos Enterprise. Seus dados e chaves de API permanecem na infraestrutura que você controla, sem telemetria do fornecedor necessária.
Quais provedores o LiteLLM suporta?
O LiteLLM suporta mais de 140 provedores LLM e 1.892 modelos através de uma API compatível com OpenAI. Integrações documentadas incluem OpenAI, Anthropic, Azure, Amazon Bedrock, Google Vertex AI e Mistral.
O LiteLLM acessa nossos prompts ou chaves?
Não. O LiteLLM é auto-hospedado, então prompts, respostas e chaves de provedores permanecem dentro da sua infraestrutura. O fornecedor não recebe seu tráfego quando você executa o gateway por conta própria.
O que o LiteLLM Enterprise adiciona?
O LiteLLM Enterprise adiciona SSO, SCIM, autenticação OIDC e JWT, logs de auditoria, integrações com gerenciador de segredos, RBAC, opções de plano de controle multi-região e suporte 24/7 com SLAs de tempo de resposta além do gateway open-source.