Respan (formerly Keywords AI)
Respan 是一个面向团队的大型语言模型(LLM)工程平台,专为部署生产AI代理和应用而设计。通过一个网关路由模型流量,详细跟踪每一次调用,在离线数据集和实时流量上进行评估,并从单一仪表盘监控成本、延迟和错误。
该产品源自 Keywords AI,一家由伊利诺伊大学工程师创办的 Y Combinator 2024年冬季创业公司。最初作为LLM路由工具,随着客户对生产中代理行为的可见性需求增加,扩展为完整的可观测性解决方案。Respan 现定位于从追踪、评估到迭代的闭环生态系统。
它适合机器学习工程师、平台团队以及AI产品开发者,这些用户需要网关故障切换、提示词版本测试、生产质量评分和支出控制,而无需拼凑多个工具。网站上提到的客户包括 Retell AI、Mem0、Lovable 和 Gumloop 团队等。
一个端点可访问1000多个模型;只需更改模型名称即可切换提供商
自动回退机制在出现错误或速率限制时切换到下一个模型
响应缓存即时提供重复提示,减少重复调用成本
每个API密钥、客户或组织均可设置预算和速率限制,支持警告和阻止阈值
跟踪树捕获每次LLM调用、工具运行、检索和代理轮次,记录成本和延迟
评估器将LLM评判、代码检查和人工审核结合成一个加权得分
当成本、错误、延迟或令牌数量超过限制时,通过Slack、电子邮件或Webhook发送警报
免费层包含完整平台,支持10万条日志,无需信用卡。
单一网关端点支持500多个模型,内置故障切换、缓存和支出限制。
追踪关联评估让您比较提示版本并评估实时生产流量。
符合SOC 2、GDPR和HIPAA标准,医疗团队可获得商业关联协议(BAA)。
团队计划按年计费每月起价为199美元。
免费套餐日志上限为10万条,保留时间为7天。
团队版符合HIPAA要求需额外支付每月249美元。
SAML单点登录和自托管部署仅限企业版。
Respan 有免费计划吗?
有的。Respan 提供免费计划,费用为 $0,无需信用卡。该计划包含完整平台,100k 日志,1k 评分,5 个数据集,2 个评估器,以及 5 个提示。可在 platform.respan.ai 注册。
Respan 和 Keywords AI 有什么区别?
Respan 是当前该公司的品牌,之前名为 Keywords AI。产品从 LLM 路由扩展为完整的 LLM 工程平台,涵盖网关路由、追踪、评估、提示管理和监控。
Respan 的 AI 网关如何工作?
Respan 通过 https://api.respan.ai/api/ 路由 OpenAI 风格的请求到 500 多个模型,或支持供应商直通端点。你可以设置 fallback_models、启用响应缓存,并在每个请求中附加 customer_identifier 和元数据。每次网关调用都会自动记录日志。
Respan 能自动评分生产环境的 LLM 流量吗?
可以。Respan 在采样的生产跨度上运行评估器,因此质量回归会在实时流量中显现,而不仅限于离线测试。你可以按百分比采样、按功能或客户筛选,并设置当评分下降时发出警报的自动化。
Respan 支持哪些集成?
Respan 与 OpenAI SDK、Vercel AI SDK、LangChain、LlamaIndex、LiteLLM、Mastra、Mem0 及包括 OpenAI、Anthropic、Groq、AWS Bedrock 和 Google Gemini 在内的多家模型供应商集成。提供 Python 和 JavaScript/TypeScript SDK。
Respan 符合 HIPAA 吗?
Respan 符合 HIPAA 规范,并为医疗团队提供 BAA。团队计划中,HIPAA 合规作为每月 $249 的附加选项提供。企业计划包括定制方案和专属支持。
Respan 的团队计划多少钱?
Respan 团队计划按年计费为每月 $199,是初创和成长型团队的热门选择。包含无限数据集、评估器和提示、专属 Slack 频道及 SOC 2 报告访问权限。

