Portkey

Portkey

Portkey 是一个为团队部署生成式人工智能应用而打造的技术栈。它整合了AI网关、可观测性、保障措施、治理和提示管理于一个平台,使开发者无需拼接各种工具,即可路由LLM流量、监控成本并执行安全策略。

该平台核心是AI网关模式:一个单一的统一API,连接超过1600个模型和提供商,涵盖文本、视觉、音频和图像生成。智能路由处理回退、负载均衡、重试和超时,而虚拟密钥则将提供商凭据保存在受管理的保险箱中,而不是散布在代码中。

Portkey 面向进行生产环境中GenAI的ML工程师、平台团队和企业。客户案例涵盖从在多个LLM应用中进行成本归因到在CI管道中缓存以减少重复测试的各种使用场景。该公司是开源的,符合HIPAA标准,为超过3000个GenAI团队提供动力。

主要功能:
  1. 一个统一的API,路由流量至1600多个LLM和多模态提供商

  2. 内置自动回退、负载均衡、重试和请求超时功能

  3. 记录每个请求,包含40多个关于成本、延迟和准确性的详细信息

  4. 60多个安全防护措施,实时阻止提示注入并编辑个人身份信息(PII)

  5. 提示设计工作室,支持版本控制、变量、试验场和API部署

  6. 简单且语义化的缓存,降低重复推理成本

  7. 开源网关,支持自托管并拥有社区支持

Pros:
  1. 统一的 API 涵盖 1600 多个模型,团队无需针对每个供应商进行集成工作。

  2. 免费层和开源网关使得在正式投入前轻松进行原型设计。

  3. 可观测性记录每个请求的 40 多个指标,便于成本归属和调试。

  4. 企业方案包含 HIPAA、SOC2、GDPR 合规性以及私有云部署。

Cons:
  1. 免费的计划每月记录日志上限为1万条,不适合用于生产环境。

  2. 生产计划缺乏自定义安全控制和数据驻留保障。

  3. 企业定价需与销售进行洽谈,没有公开的收费标准。

常见问题:

Portkey 有免费计划吗?

有。Portkey 提供一个永久免费计划,每月包含 10,000 条记录日志,日志保存期为 3 天,支持 AI 网关路由、可观测性、3 个提示模板、简单缓存和确定性防护措施。该计划适用于原型设计和评估,不适合生产工作负载。

Portkey 生产环境使用费用是多少?

Portkey 的生产计划每月收费 49 美元,包含每月 100,000 条记录日志,超过部分每增加 100,000 次请求收费 9 美元。该计划增加了 LLM 和合作伙伴防护措施、无限提示模板、基于角色的访问控制、语义缓存以及生产级支持。

Portkey 支持多少 LLM 提供商?

Portkey 通过其统一的 AI 网关 API 连接 1600 多个不同模态的 LLM 和提供商。主页的统计部分还列出了支持 148 多个 LLM,随着提供商发布新模型,Portkey 也会持续添加。

Portkey 可以自托管吗?

可以。Portkey 提供开源 AI 网关,您可以本地部署。价格页面列出了“自主托管”选项,支持通用 API、重试机制、路由、防护措施、回退、负载均衡以及社区支持。

Portkey 会增加 LLM API 请求的延迟吗?

Portkey 宣传其 AI 网关几乎不增加延迟,提供 0% 延迟开销,以确保实时 AI 体验。其功能页面强调闪电般的响应速度和经过实战验证、适合生产环境的可靠基础设施。

Portkey 支持单点登录(SSO)和团队管理吗?

支持。Portkey 的企业计划包括与 Okta Auth 集成的单点登录、基于角色的访问控制、团队管理、细化的预算和速率限制,以及全组织范围的审计日志。生产计划也包含 RBAC 和服务账号 API 密钥。

Portkey 提供哪些防护措施?

Portkey 在其开源网关基础上运行 60 多项防护措施,包括输入检测以防止提示注入,输出过滤以防止个人信息泄露和幻觉生成。它还集成了 Mistral、Patronus、Pangea、Bedrock、Azure 和 Palo Alto Networks 等合作伙伴。

分类:

定价:

免费试用和收费混合

标签:

LLM Gateway
AI Observability
Prompt Management
AI Guardrails
GenAI Infrastructure

使用的技术:

Ant Design
Framer Sites
Cloudflare
Google Analytics
Google Tag Manager
Microsoft Clarity
Google Fonts
Python
Ruby
GitHub

评论:

Give your opinion on Portkey :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Portkey 替代方案(和付费)

By Rishit