Lunary
Lunary 是一个针对基于大型语言模型(LLM)应用的可观察性和提示管理平台。团队利用它监控生产中的聊天机器人和代理,管理提示,进行评估,并添加安全措施,而无需介入推理调用的中间环节。它可以作为云服务或自托管部署,满足团队对日志和用户数据存放位置的控制需求。
该平台追踪 LLM 运行、链、嵌入及聊天会话,然后在仪表盘中显示,包括聊天回放、主题分类和人工审核流程。提示模板、AI 游戏场和评分工具帮助团队对提示进行迭代,并在用户发现之前捕捉回归问题。SDK 以异步方式运行,从而不增加 API 调用的延迟。
Lunary 目标用户是发布生产级 LLM 功能的工程团队,从免费层的单人开发者,到需要 SSO、PII 掩码、SOC 2 报告以及在自己 VPC 中部署 Kubernetes 的企业用户。它支持与 OpenAI、LangChain、LiteLLM、Flowise 以及其他 20 多个来源和目的地的集成。
跟踪LLM、链条、嵌入和聊天运行,且不增加调用延迟
提示模板、聊天回放和AI游乐场,用于迭代
主题分类和自定义仪表盘,发现使用趋势
企业版和自托管计划中的PII屏蔽、基于角色的访问控制(RBAC)和单点登录(SSO)
包括OpenAI、LangChain、LiteLLM和Flowise在内的20多个集成
将过滤后的日志导出为OpenAI JSONL格式,用于模型微调
自托管社区版,或使用Docker或Kubernetes部署到您的VPC
免费层包括每月10,000个事件,无需信用卡。
SDK异步记录日志,确保生产环境中的LLM延迟保持不变。
提供可自托管的社区版以及企业级Kubernetes和Docker选项。
通过SOC 2 Type II和ISO 27001认证,支持PII遮蔽和单点登录(SSO)。
将过滤后的日志导出为OpenAI JSONL格式,用于微调工作流程。
免费计划仅保留30天的日志历史。
部分集成和自动化连接器标记为即将推出或仅限企业版。
团队版的AI Playground每月查询次数上限为1,000次,超出后将收取额外费用。
什么是Lunary?
Lunary是一个用于监控、改进和保护AI聊天机器人及大型语言模型(LLM)应用的平台。它提供可观测性、提示管理、评估及LLM保护措施。团队可以使用它记录生产运行日志、审查对话并从中央仪表板管理提示。
Lunary有免费计划吗?
有的。Lunary提供免费的计划,每月0美元,包含每月10,000个事件,最多支持3个项目,并保留30天的日志。注册无需信用卡。
Lunary Team版多少钱?
Lunary Team版每位用户每月20美元。包含每月50,000事件、无限项目、一年历史记录、AI游乐场以及高级功能。超过配额的额外事件费用为每50000事件每月10美元。
Lunary会降低LLM API调用速度吗?
不会。Lunary SDK异步运行,不作为您的代码与推理API之间的中间环节。日志记录在后台进行,不影响LLM调用的延迟。
Lunary支持哪些集成?
Lunary支持20多种LLM数据集成。原生SDK集成涵盖OpenAI、Anthropic、LangChain、LangGraph、LiteLLM、Flowise、IBM WatsonX等。企业端目标包括Snowflake、BigQuery、Tableau和Segment。任何服务均可通过HTTP API连接。
Lunary可以自托管吗?
可以。Lunary提供免费的社区版以供自托管,以及支持Docker和Kubernetes的付费企业版本。云端客户可在Lunary团队协助下迁移至自托管方案。
Lunary数据托管在哪里?
Lunary云端数据默认托管在欧洲,符合GDPR要求,也支持本地部署。在自托管部署中,数据会永久保留在您的基础设施上。

