Portkey

Portkey

Portkey é uma stack de produção para times que entregam aplicações de IA generativa. Ela combina um gateway de IA, observabilidade, diretrizes de segurança, governança e gerenciamento de prompts em uma única plataforma, permitindo que desenvolvedores redirecionem o tráfego de LLM, monitorem custos e apliquem políticas de segurança sem precisar integrar várias ferramentas separadas.

A plataforma tem como foco o padrão AI Gateway: uma API unificada que conecta a mais de 1600 modelos e provedores nos campos de texto, visão, áudio e geração de imagens. O roteamento inteligente gerencia fallback, balanceamento de carga, tentativas e timeouts, enquanto chaves virtuais mantêm as credenciais dos provedores em um cofre gerenciado, ao invés de espalhadas pelo código.

Portkey foi criada para engenheiros de ML, times de plataforma e empresas que operam GenAI em produção. Histórias de clientes mencionam casos de uso desde atribuição de custos em diversas aplicações de LLM até caching que reduz execuções repetidas de testes em pipelines de CI. A empresa é de código aberto, compatível com HIPAA e alimenta mais de 3.000 equipes de GenAI.

Recursos Principais:
  1. Uma API unificada direciona o tráfego para mais de 1600 LLMs e provedores multimodais

  2. Fallbacks automáticos, balanceamento de carga, tentativas e timeouts de requisição integrados

  3. Registra cada requisição com mais de 40 detalhes sobre custo, latência e precisão

  4. Mais de 60 guardrails bloqueiam injeções de prompt e redigem PII em tempo real

  5. Estúdio de prompt com versionamento, variáveis, playground e implantação de API

  6. Cache simples e semântico para reduzir gastos com inferências repetidas

  7. Gateway open-source que você pode hospedar por conta própria com suporte da comunidade

Pros:
  1. A API unificada abrange mais de 1600 modelos para que as equipes evitem trabalhos de integração por fornecedor.

  2. O nível gratuito e o gateway open-source facilitam a criação de protótipos antes do compromisso.

  3. Observability registra mais de 40 métricas por solicitação para atribuição de custos e depuração.

  4. O plano Enterprise inclui conformidade com HIPAA, SOC2, GDPR e implantação em nuvem privada.

Cons:
  1. O plano gratuito limita a 10 mil registros de logs gravados por mês e não é destinado para produção.

  2. O plano de produção não possui controles de segurança personalizados nem garantias de residência de dados.

  3. O preço corporativo exige uma conversa com vendas e não possui tabela de preços pública.

Perguntas frequentes:

O Portkey possui um plano gratuito?

Sim. O Portkey oferece um plano Free Forever com 10.000 logs registrados por mês, retenção de logs por 3 dias, roteamento via AI gateway, observabilidade, 3 modelos de prompt, cache simples e guardrails determinísticos. Destina-se a prototipagem e avaliação, não para cargas de trabalho em produção.

Quanto custa o Portkey para uso em produção?

O plano Production do Portkey custa $49 por mês e inclui 100.000 logs registrados por mês, com cobranças de $9 para cada 100.000 solicitações extras. Ele adiciona guardrails para LLM e parceiros, templates ilimitados de prompt, controle de acesso baseado em função, cache semântico e suporte para produção.

Quantos provedores de LLM o Portkey suporta?

O Portkey conecta-se a mais de 1600 LLMs e provedores através de diferentes modalidades por meio de sua API unificada de AI gateway. A página inicial também cita suporte para mais de 148 LLMs em sua seção de estatísticas, com novos modelos adicionados conforme os provedores os lançam.

O Portkey pode ser hospedado localmente?

Sim. O Portkey oferece um AI gateway open-source que você pode implantar localmente. A página de preços lista uma opção Host it Yourself com API universal, tentativas automáticas, roteamento, guardrails, fallback, balanceamento de carga e suporte da comunidade.

O Portkey adiciona latência às requisições da API de LLM?

O Portkey promove seu AI gateway como tendo 0% de sobrecarga de latência para experiências de IA em tempo real. Suas páginas de funcionalidades destacam respostas ultra-rápidas e infraestrutura testada em batalha, projetada para confiabilidade em produção.

O Portkey suporta SSO e gestão de equipes?

Sim. O plano Enterprise do Portkey inclui SSO com Okta Auth, controle de acesso baseado em função, gestão de equipes, orçamentos granulares, limites de taxa e logs de auditoria para toda a organização. O plano Production também inclui RBAC e chaves de API para contas de serviço.

Quais guardrails o Portkey oferece?

O Portkey executa mais de 60 guardrails em seu gateway open-source, incluindo verificações de entrada para injeção de prompt e filtros de saída para vazamentos de PII e alucinações. Integra parceiros como Mistral, Patronus, Pangea, Bedrock, Azure e Palo Alto Networks.

Categoria:

Preços:

Freemium

Tags:

LLM Gateway
AI Observability
Prompt Management
AI Guardrails
GenAI Infrastructure

Tecnologia utilizada:

Ant Design
Framer Sites
Cloudflare
Google Analytics
Google Tag Manager
Microsoft Clarity
Google Fonts
Python
Ruby
GitHub

Avaliações:

Give your opinion on Portkey :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Melhor Gratuito Portkey Alternativas (e Pagas)

By Rishit