Respan (formerly Keywords AI)

Respan (formerly Keywords AI)

Respan 是一个面向团队的大型语言模型(LLM)工程平台,专为部署生产AI代理和应用而设计。通过一个网关路由模型流量,详细跟踪每一次调用,在离线数据集和实时流量上进行评估,并从单一仪表盘监控成本、延迟和错误。

该产品源自 Keywords AI,一家由伊利诺伊大学工程师创办的 Y Combinator 2024年冬季创业公司。最初作为LLM路由工具,随着客户对生产中代理行为的可见性需求增加,扩展为完整的可观测性解决方案。Respan 现定位于从追踪、评估到迭代的闭环生态系统。

它适合机器学习工程师、平台团队以及AI产品开发者,这些用户需要网关故障切换、提示词版本测试、生产质量评分和支出控制,而无需拼凑多个工具。网站上提到的客户包括 Retell AI、Mem0、Lovable 和 Gumloop 团队等。

主要功能:
  1. 一个端点可访问1000多个模型;只需更改模型名称即可切换提供商

  2. 自动回退机制在出现错误或速率限制时切换到下一个模型

  3. 响应缓存即时提供重复提示,减少重复调用成本

  4. 每个API密钥、客户或组织均可设置预算和速率限制,支持警告和阻止阈值

  5. 跟踪树捕获每次LLM调用、工具运行、检索和代理轮次,记录成本和延迟

  6. 评估器将LLM评判、代码检查和人工审核结合成一个加权得分

  7. 当成本、错误、延迟或令牌数量超过限制时,通过Slack、电子邮件或Webhook发送警报

Pros:
  1. 免费层包含完整平台,支持10万条日志,无需信用卡。

  2. 单一网关端点支持500多个模型,内置故障切换、缓存和支出限制。

  3. 追踪关联评估让您比较提示版本并评估实时生产流量。

  4. 符合SOC 2、GDPR和HIPAA标准,医疗团队可获得商业关联协议(BAA)。

Cons:
  1. 团队计划按年计费每月起价为199美元。

  2. 免费套餐日志上限为10万条,保留时间为7天。

  3. 团队版符合HIPAA要求需额外支付每月249美元。

  4. SAML单点登录和自托管部署仅限企业版。

常见问题:

Respan 有免费计划吗?

有的。Respan 提供免费计划,费用为 $0,无需信用卡。该计划包含完整平台,100k 日志,1k 评分,5 个数据集,2 个评估器,以及 5 个提示。可在 platform.respan.ai 注册。

Respan 和 Keywords AI 有什么区别?

Respan 是当前该公司的品牌,之前名为 Keywords AI。产品从 LLM 路由扩展为完整的 LLM 工程平台,涵盖网关路由、追踪、评估、提示管理和监控。

Respan 的 AI 网关如何工作?

Respan 通过 https://api.respan.ai/api/ 路由 OpenAI 风格的请求到 500 多个模型,或支持供应商直通端点。你可以设置 fallback_models、启用响应缓存,并在每个请求中附加 customer_identifier 和元数据。每次网关调用都会自动记录日志。

Respan 能自动评分生产环境的 LLM 流量吗?

可以。Respan 在采样的生产跨度上运行评估器,因此质量回归会在实时流量中显现,而不仅限于离线测试。你可以按百分比采样、按功能或客户筛选,并设置当评分下降时发出警报的自动化。

Respan 支持哪些集成?

Respan 与 OpenAI SDK、Vercel AI SDK、LangChain、LlamaIndex、LiteLLM、Mastra、Mem0 及包括 OpenAI、Anthropic、Groq、AWS Bedrock 和 Google Gemini 在内的多家模型供应商集成。提供 Python 和 JavaScript/TypeScript SDK。

Respan 符合 HIPAA 吗?

Respan 符合 HIPAA 规范,并为医疗团队提供 BAA。团队计划中,HIPAA 合规作为每月 $249 的附加选项提供。企业计划包括定制方案和专属支持。

Respan 的团队计划多少钱?

Respan 团队计划按年计费为每月 $199,是初创和成长型团队的热门选择。包含无限数据集、评估器和提示、专属 Slack 频道及 SOC 2 报告访问权限。

定价:

免费试用和收费混合

标签:

DevOps
AI Applications
Large Language Models
Software Development
Application Deployment
AI Monitoring
LLM observability
AI gateway
prompt management
LLM evals
agent infrastructure

使用的技术:

React
Next.js
Chakra UI
WordPress
Amazon CloudFront
Google Analytics
Google Tag Manager
Python
Ruby
Twilio
Zapier
GitHub
Emotion
Tailwind CSS

评论:

Give your opinion on Respan (formerly Keywords AI) :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Respan (formerly Keywords AI) 替代方案(和付费)

By Rishit