Traceloop
Traceloop 是一个LLM(大型语言模型)可靠性平台,将评估和生产监控连接成一个反馈循环。工程团队使用它来追踪提示质量、响应延迟和模型漂移,从而确保每次发布都能取得明显改进。它面向将LLM功能部署到生产环境的团队,帮助他们摆脱从电子表格和Slack线程中猜测的困扰。
该技术堆栈建立在OpenTelemetry之上,并配备了OpenLLMetry,这是一个拥有超过7000个GitHub星标的开源SDK。可以在Python、TypeScript、Go或Ruby中对应用进行 instrumentation,或者通过Traceloop Hub将调用路由为网关代理。内置的评估器覆盖了忠实度、相关性和安全性,你也可以从带注释的生产示例中训练定制评分模型。
Traceloop宣布加入ServiceNow,体现其对企业级LLM操作的关注。该平台支持SOC 2和HIPAA合规性、本地部署和隔离部署,以及与20多个LLM提供商以及LangChain和LlamaIndex等框架的集成。网站上的客户包括IBM、Miro和Target等。
一行代码即可获取提示、回复和延迟的实时跟踪
内置评估器,用于真实流量上的忠实度、相关性和安全性评估
从带注释的生产示例中训练自定义评估器
CI/CD中的质量关卡及带自动阈值的实时监控
OpenLLMetry SDK及Hub网关,支持Python、TypeScript、Go和Ruby
支持20多个大型语言模型供应商及Pinecone、Chroma等向量数据库
免费层包含每月50K条span,且可完全访问仪表盘。
开源的OpenLLMetry SDK可连接25+个可观测性平台,无锁定限制。
为受监管团队提供本地部署、云端及隔离部署选项。
与LangChain、LlamaIndex、CrewAI及20+个LLM提供商集成。
免费套餐的数据保留期限限制为24小时。
生产负载超过5万跨度的情况需要与企业销售进行沟通。
付费价格未在网站上公开列出。
Traceloop 有免费套餐吗?
有的。Traceloop 提供永久免费的套餐,每月费用为 $0,支持每月最多 50,000 个跨度(span)、最多 5 个席位及 24 小时数据保留。免费套餐包括监控和评估仪表板、CI/CD 集成以及提示管理。
Traceloop 中的跨度(span)是什么?
在 Traceloop 中,跨度是您 LLM 应用中被追踪的事件。每次调用 LLM 提供商和每次调用向量数据库都计算为一个跨度,计入您的月度使用限制。
我可以在本地部署 Traceloop 吗?
可以。Traceloop 支持在 AWS、GCP、Azure 和 Kubernetes 上本地部署,包括隔离网络环境。企业套餐包含专用的本地部署选项及 SOC 2 合规支持。
OpenLLMetry 是免费使用的吗?
是的。OpenLLMetry 采用 Apache-2.0 许可协议,免费使用。您可以将其连接到包括 Traceloop 在内的 25 多个支持的可观测性平台。
Traceloop 支持哪些编程语言?
Traceloop 通过 OpenLLMetry SDK 支持 Python、TypeScript、Go 和 Ruby。您也可以使用 Traceloop Hub 作为基于 OpenTelemetry 的 LLM 调用网关代理。
Traceloop 支持哪些 LLM 提供商?
Traceloop 支持 20 多个 LLM 提供商,包括 OpenAI、Anthropic、Gemini、Bedrock 和 Ollama。它还集成了 Pinecone、Chroma 等向量数据库,以及 LangChain、LlamaIndex、CrewAI 等框架。

