Portkey

Portkey

Portkey 为工程团队提供一个控制面板,用于在生产环境中部署生成式 AI。您可以通过统一的网关路由大型语言模型(LLM)流量,记录每个请求的成本和延迟详情,执行安全防护措施,并管理提示词,而无需为每个层级单独连接不同供应商。

大多数团队通常手动编写供应商 SDK 并事后拼凑可观测性功能,而 Portkey 将网关路由、可观测性、安全防护、治理和提示管理整合在一个单一 API 后端,连接超过 1600 个模型。它目前为 Palo Alto Networks 的 PRISMA AIRS AI 网关提供支持,实现企业级 AI 交互的发现、治理和安全,同时仍提供免费套餐和可自托管的开源网关。

机器学习工程师、平台团队和企业利用 Portkey 实现跨数十个应用的成本归因,语义缓存减少重复推理开销,以及 50 多项安全防护措施阻止提示注入和编辑个人身份信息(PII)。公司报告平台上有超过 3000 个生成式 AI 团队使用,并且开源项目在 GitHub 上获得数千颗星标。

主要功能:
  1. 一个统一的API将流量路由到1600多个LLM和多模态提供商

  2. 永久免费计划每月包括10,000个录制日志,用于原型设计

  3. 生产计划每月49美元,包含100,000个录制日志和RBAC

  4. 内置自动回退、负载均衡、重试和请求超时功能

  5. 记录每个请求,包含40多项关于成本、延迟和准确性的详细信息

  6. 50多项护栏阻止提示注入并实时编辑PII

  7. 开源网关,支持自行托管并拥有社区支持

Pros:
  1. 统一API涵盖1600多个模型,避免团队进行每个提供商的集成工作

  2. 免费层和开源网关方便在投入前进行原型设计

  3. 可观察性日志记录每个请求的40多项指标,用于成本归属和调试

  4. 企业计划包括HIPAA、SOC2、GDPR合规和私有云部署

  5. PRISMA AIRS集成为企业AI治理提供帕洛阿尔托网络安全

Cons:
  1. 免费的计划每月记录日志上限为1万条,不适合用于生产环境。

  2. 生产计划缺乏自定义安全控制和数据驻留保障。

  3. 企业定价需与销售进行洽谈,没有公开的收费标准。

常见问题:

Portkey有免费套餐吗?

有。Portkey提供一个永久免费套餐,每月记录10,000条日志,日志保留3天,支持AI网关路由、可观测性、3个提示模板、简单缓存和确定性护栏。该套餐适用于原型设计和评估,不适合生产工作负载。

Portkey生产环境使用费用是多少?

Portkey生产计划每月收费49美元,包含每月100,000条记录日志,超出部分每增加100,000请求收费9美元。该计划增加了LLM和合作伙伴护栏、无限提示模板、基于角色的访问控制、语义缓存和生产支持。

Portkey支持多少LLM提供商?

Portkey通过其统一的AI网关API连接1600多个文本、视觉、音频和图像模态的LLM和提供商。新模型会随着提供商发布而添加。

Portkey可以自托管吗?

可以。Portkey提供一个开源AI网关,您可以本地部署。定价页面列出了自托管选项,支持通用API、重试、路由、护栏、回退、负载均衡和社区支持。

Portkey会增加LLM API请求的延迟吗?

Portkey宣传其AI网关对实时AI体验增加0%延迟开销。其功能页面强调闪电般快速的响应和经过实战考验、为生产可靠性设计的基础设施。

Portkey支持SSO和团队管理吗?

支持。Portkey企业计划包括使用Okta认证的SSO、基于角色的访问控制、团队管理、细粒度预算和速率限制以及全组织审计日志。生产计划也包括RBAC和服务账户API密钥。

Portkey提供哪些护栏?

Portkey在其开源网关上运行50多个护栏,包括针对提示注入的输入检查和针对PII泄露及幻觉的输出过滤。它集成了Mistral、Patronus、Pangea、Bedrock、Azure和Palo Alto Networks等合作伙伴。

分类:

定价:

免费试用和收费混合

标签:

LLM Gateway
AI Observability
Prompt Management
AI Guardrails
GenAI Infrastructure
Open Source

使用的技术:

Ant Design
Framer Sites
Cloudflare
Google Analytics
Google Tag Manager
Microsoft Clarity
Google Fonts
Python
Ruby
GitHub

评论:

Give your opinion on Portkey :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Portkey 替代方案(和付费)

By Rishit