Portkey
Portkey 为工程团队提供一个控制面板,用于在生产环境中部署生成式 AI。您可以通过统一的网关路由大型语言模型(LLM)流量,记录每个请求的成本和延迟详情,执行安全防护措施,并管理提示词,而无需为每个层级单独连接不同供应商。
大多数团队通常手动编写供应商 SDK 并事后拼凑可观测性功能,而 Portkey 将网关路由、可观测性、安全防护、治理和提示管理整合在一个单一 API 后端,连接超过 1600 个模型。它目前为 Palo Alto Networks 的 PRISMA AIRS AI 网关提供支持,实现企业级 AI 交互的发现、治理和安全,同时仍提供免费套餐和可自托管的开源网关。
机器学习工程师、平台团队和企业利用 Portkey 实现跨数十个应用的成本归因,语义缓存减少重复推理开销,以及 50 多项安全防护措施阻止提示注入和编辑个人身份信息(PII)。公司报告平台上有超过 3000 个生成式 AI 团队使用,并且开源项目在 GitHub 上获得数千颗星标。
一个统一的API将流量路由到1600多个LLM和多模态提供商
永久免费计划每月包括10,000个录制日志,用于原型设计
生产计划每月49美元,包含100,000个录制日志和RBAC
内置自动回退、负载均衡、重试和请求超时功能
记录每个请求,包含40多项关于成本、延迟和准确性的详细信息
50多项护栏阻止提示注入并实时编辑PII
开源网关,支持自行托管并拥有社区支持
统一API涵盖1600多个模型,避免团队进行每个提供商的集成工作
免费层和开源网关方便在投入前进行原型设计
可观察性日志记录每个请求的40多项指标,用于成本归属和调试
企业计划包括HIPAA、SOC2、GDPR合规和私有云部署
PRISMA AIRS集成为企业AI治理提供帕洛阿尔托网络安全
免费的计划每月记录日志上限为1万条,不适合用于生产环境。
生产计划缺乏自定义安全控制和数据驻留保障。
企业定价需与销售进行洽谈,没有公开的收费标准。
Portkey有免费套餐吗?
有。Portkey提供一个永久免费套餐,每月记录10,000条日志,日志保留3天,支持AI网关路由、可观测性、3个提示模板、简单缓存和确定性护栏。该套餐适用于原型设计和评估,不适合生产工作负载。
Portkey生产环境使用费用是多少?
Portkey生产计划每月收费49美元,包含每月100,000条记录日志,超出部分每增加100,000请求收费9美元。该计划增加了LLM和合作伙伴护栏、无限提示模板、基于角色的访问控制、语义缓存和生产支持。
Portkey支持多少LLM提供商?
Portkey通过其统一的AI网关API连接1600多个文本、视觉、音频和图像模态的LLM和提供商。新模型会随着提供商发布而添加。
Portkey可以自托管吗?
可以。Portkey提供一个开源AI网关,您可以本地部署。定价页面列出了自托管选项,支持通用API、重试、路由、护栏、回退、负载均衡和社区支持。
Portkey会增加LLM API请求的延迟吗?
Portkey宣传其AI网关对实时AI体验增加0%延迟开销。其功能页面强调闪电般快速的响应和经过实战考验、为生产可靠性设计的基础设施。
Portkey支持SSO和团队管理吗?
支持。Portkey企业计划包括使用Okta认证的SSO、基于角色的访问控制、团队管理、细粒度预算和速率限制以及全组织审计日志。生产计划也包括RBAC和服务账户API密钥。
Portkey提供哪些护栏?
Portkey在其开源网关上运行50多个护栏,包括针对提示注入的输入检查和针对PII泄露及幻觉的输出过滤。它集成了Mistral、Patronus、Pangea、Bedrock、Azure和Palo Alto Networks等合作伙伴。

