Athina AI

Athina AI

Athina AI 是一个协作开发平台,团队可以在一个工作空间中构建、测试和监控生产中的 AI 功能。它专为需要共同空间进行提示、数据集、评估和实时应用行为迭代的混合技术团队而设计,无需将每一步都交给工程团队。

该平台涵盖从原型设计到生产的整个流程。团队可以管理和版本控制提示,跨模型运行实验,使用预设或自定义指标评估输出,对数据集进行注释以供人工审核,以及监控推理轨迹以检测成本、延迟和质量下降。

Athina 还提供 Flow,这是一个可视化管道构建器,可以将提示、API 调用、文档检索和自定义代码串联成可部署的工作流程。企业版选项包括在您自己的 VPC 中进行自托管部署,符合 SOC-2 第 2 类合规标准,以及支持自定义模型提供商,如 Azure OpenAI 和 AWS Bedrock。

包括 Perplexity、You.com、Vetted 和 PhysicsWallah 在内的公司团队使用 Athina,更快将 AI 功能从实验阶段推向生产。

主要功能:
  1. 运行 50 多种预设评估,或使用 LLM 评审、Python 函数或外部 API 构建自定义评估

  2. 管理、测试并版本控制各类模型的提示词,包括您自行托管的自定义端点

  3. 只需几次点击即可重新生成数据集,方便侧面对比模型、提示词或检索器

  4. 在 Flows 中串联提示词、API、检索和代码,然后一键部署管道

  5. 异步记录生产推断,确保监控不会增加应用延迟

  6. 让人工 QA 团队注释数据集并在自动评分的基础上验证评估结果

  7. 使用 SQL 查询数据集,并在针对混合技术团队设计的工作区中比较结果

Pros:
  1. 免费入门级包含每月10,000条日志,无需信用卡。

  2. 支持50多种预设评估器,以及通过Python、LLM评审或外部API自定义评估器。

  3. 兼容Azure OpenAI、AWS Bedrock、Vertex及其他供应商的自定义模型。

  4. 提供自托管部署,适合需要在自己VPC中实现完全数据隐私的团队。

Cons:
  1. 专业版和企业版计划需要预约演示,无法自行结账。

  2. info.athina.ai 上的一些营销子页面目前显示部署暂停页面。

常见问题:

Athina AI 有免费套餐吗?

有的。Athina AI 提供免费 Starter 计划,每月可记录最多 10,000 条日志,包含高级分析、无限提示、提示和模型对比,以及成本和延迟跟踪。您可以在 app.athina.ai 注册,无需信用卡。

Athina AI 支持自定义评估吗?

支持。Athina AI 允许您使用 LLM 作为评判方案、自定义 Python 函数或外部 API 调用来配置自定义评估器。除此之外,还有超过 50 种预设评估,来自 Athina、OpenAI、Ragas 和 Guardrails 等提供商。

Athina AI 是否兼容 Azure、Vertex 或 Bedrock?

是的。Athina AI 支持在 Azure OpenAI、AWS Bedrock、Google Vertex 及其他提供商托管的自定义模型。企业计划还包含针对自定义模型集成的专属支持。

Athina AI 的日志记录会增加延迟吗?

不会。Athina AI 的日志记录可作为异步“火并忘”操作运行,因此不会减慢您应用的响应时间。

Athina AI 有自托管部署选项吗?

有。Athina AI 可在企业计划内作为自托管镜像部署在您自己的 VPC 中。有关部署详情,请联系 [email protected]。

Athina AI 支持哪些类型的评估?

Athina AI 支持来自 Athina、OpenAI、Ragas 和 Guardrails 等提供商的 50 多种预设评估。您也可以通过 LLM 评判、Python 函数或外部 API 配置自定义评估,适用于在线、离线或 CI/CD 工作流。

Athina AI 集成需要多长时间?

使用 SDK 和 API,Athina AI 可在几分钟内完成日志记录的设置。详细集成步骤可参见 docs.athina.ai/logging 文档。

定价:

免费试用和收费混合

标签:

Athina AI
Large Language Models
Open-Source SDK
Evaluation Metrics
Production Monitoring
Custom Evaluations
GraphQL API
LLM Agnostic
Continuous Monitoring
Role-Based Access Controls
Prompt Management
AI Observability
Dataset Management
LLM Evaluation
Prompt Engineering

使用的技术:

Next.js
Node.js
Tailwind CSS
jQuery
Webflow
Cloudflare
Amazon CloudFront
Amazon Web Services
Google Cloud
Google Analytics
Google Tag Manager
Google Fonts
GSAP
GraphQL
Python
Ruby
GitHub

评论:

Give your opinion on Athina AI :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Athina AI 替代方案(和付费)

By Rishit