Galileo

Galileo

Galileo 是一个面向团队交付大规模语言模型(LLM)应用和代理的 AI 可观察性与评估工程平台。它帮助你离线评估模型、监控生产流量,并将通过的评估转化为实时守护措施,确保在用户发现问题之前捕获故障。该平台面向需要在整个构建到生产周期内进行测量的开发者和企业 AI 团队。

Galileo 提取高成本的 LLM 作为评判者的评估方式,简化为运行延迟低、成本更低的 Luna 模型,使得评分 100% 生产流量变得现实。其洞察引擎分析代理行为,识别故障模式并建议修复方案,而内置的 20 多个评估器涵盖 RAG、代理、安全和安全性等方面,开箱即用。思科已宣布有意收购 Galileo。

Galileo 成立于 2021 年,理念是非确定性的大模型(LLM)需要跨越评估、监控、可观察性与保护的可靠性工作流程。创始团队曾在 Google AI、Uber AI 和苹果 Siri 等公司工作。客户可以根据安全需求选择通过 SaaS、虚拟私有云或本地部署。

Galileo 适合机器学习工程师、平台团队和 AI 产品负责人,他们需要在一个平台中集中管理数据集、定制指标、追踪和守护策略,而不是拼接多个测试和监控工具。

主要功能:
  1. 20多个内置评估器,涵盖RAG、代理、安全和安保

  2. 将LLM作为评判者的评估器蒸馏为Luna模型,成本降低96%

  3. Luna-2评估器平均响应时间低于200毫秒,适用于实时生产护栏

  4. 洞察引擎精准定位代理失败模式并提供具体修复建议

  5. 通过持续的人类反馈学习自动调整自定义指标

  6. 支持SaaS、VPC或本地部署,提供SDK和API集成

Pros:
  1. 涵盖离线评估、生产可观察性和实时护栏于一体的平台。

  2. 免费套餐包含每月5,000条追踪,支持无限用户和自定义评估。

  3. Luna模型使全流量生产评估在更低延迟和成本下变得可行。

  4. 企业部署选项包括虚拟私有云(VPC)、本地部署、单点登录(SSO)和专用推理服务器。

Cons:
  1. 专业版定价根据超过所列的50,000条跟踪量进行调整。

  2. 企业功能如SSO、本地部署和电话支持需要与销售团队沟通。

  3. 免费计划不提供高级护栏功能和无限跟踪。

常见问题:

Galileo 有免费计划吗?

有的。Galileo 提供每月 0 美元的免费计划,包含每月 5,000 次跟踪、无限用户和无限自定义评估。您可以直接在 app.galileo.ai 注册,无需预约销售电话。

Galileo Pro 包括哪些内容?

Galileo Pro 按年计费每月 100 美元,包含免费计划的所有功能,外加每月 50,000 次跟踪、标准 RBAC、高级分析与洞察,以及专属 Slack 支持。价格根据跟踪量级别调整。

Galileo 支持哪些部署选项?

Galileo 支持 SaaS、虚拟私有云和本地部署。企业计划还提供自定义速率限制、企业级 RBAC、单点登录(SSO)、实时管控以及可选的低延迟专用推理服务器。

Galileo 中的 Luna 模型是什么?

Luna 模型是 Galileo 由大型 LLM 作为评判者模型蒸馏出来的紧凑评估模型。Luna-2 系列模型平均延迟低于 200 毫秒,便于团队以较低成本近实时监控生产环境中的 AI 流量,相较于完整评判模型更高效。

Galileo 可以评估哪些类型的 AI 系统?

Galileo 支持对 RAG 管道、多步骤智能体、聊天机器人及通用生成式 AI 应用的评估与可观测性。平台内置预设指标,并提供创建自定义代码或 LLM 评判者评估器的工具。

如何联系 Galileo 支持?

您可以通过 [email protected] 联系 Galileo,处理隐私和一般问题。Pro 客户享有专属 Slack 支持,企业计划另提供 24/7 Slack、邮件或电话支持,并配备专属客户成功经理。

分类:

定价:

免费试用和收费混合

标签:

LLM Evaluation
AI Observability
Agent Monitoring
RAG Testing

使用的技术:

Ant Design
Framer Sites
Google Analytics
Google Tag Manager
Facebook Pixel
Google Fonts
Font Awesome
Ruby
GitHub

评论:

Give your opinion on Galileo :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Galileo 替代方案(和付费)

By Rishit