MLflow
MLflow 是最大的开源 AI 工程平台,支持代理、大型语言模型(LLMs)和传统机器学习模型。团队使用它来调试、评估、监控和优化生产中的 AI 应用,同时控制成本和模型访问。每月有 3000 万次软件包下载,GitHub 上拥有超过 26000 颗星,是最广泛采用的 AI 交付工具之一。
大多数可观测性工具要么专注于经典机器学习实验,要么专注于大型语言模型追踪,二者兼顾的很少。MLflow 结合了支持 OpenTelemetry 的生成式 AI 追踪与经典实验跟踪、模型注册和部署,集成在一个 Apache 2.0 平台中,因此团队在现有模型上添加代理时无需拆分工具链。
初创企业和财富 500 强公司的机器学习工程师、数据科学家及平台团队依赖 MLflow 实现更快迭代且避免供应商锁定。它集成了包括 LangChain、OpenAI、PyTorch 和 scikit-learn 在内的 100 多个框架,支持 Python、TypeScript、Java 和 R,可在本地、私有部署或任何云环境运行。该项目采用 Apache 2.0 许可证,由 Linux 基金会支持。
兼容 OpenTelemetry 的追踪功能,捕捉每一个提示、检索和工具调用
50+ 内置评估指标,加上 LLM 作为评审的评分器,用于质量测试
提示注册库对提示进行版本管理,包含血缘追踪和自动优化
AI 网关通过一个兼容 OpenAI 的 API 路由请求至多个 LLM 提供商
代理服务器支持流式传输和内置追踪,部署代理至生产环境
实验跟踪记录机器学习运行的参数、指标、产物和代码
与 LangChain、OpenAI、PyTorch 及 100+ 其他 AI 框架集成
Apache 2.0 开源许可证,无供应商锁定,支持跨云、框架和大语言模型(LLM)提供商。
在一个平台上涵盖了大语言模型运维(LLMOps)和经典机器学习运维(MLOps),从追踪到模型注册。
每月 3000 万次下载和 26,000+ GitHub 星标,体现广泛的行业采用。
兼容 OpenTelemetry 的追踪功能,可与现有可观测性基础设施集成。
通过自动日志记录,只需一条命令和最少代码更改,即可本地启动。
自托管部署需要运营维护跟踪服务器的工作。
GenAI 和经典机器学习的功能广度可能让初学者感到不知所措。
MLflow 项目本身没有托管的 SaaS 服务;生产环境托管需自行管理。
MLflow 是免费使用的吗?
是的。MLflow 完全开源,采用 Apache 2.0 许可证,无需支付任何许可费用。您可以在本地或自己的基础设施上自托管 MLflow 服务器,核心平台功能均可免费使用。
MLflow 支持哪些编程语言?
MLflow 支持 Python、TypeScript 和 JavaScript、Java 以及 R。文档涵盖了这些语言的 SDK 和自动日志记录集成,其中 Python 的文档最为详尽。
MLflow 支持哪些大语言模型(LLM)提供商和代理框架?
MLflow 与 OpenAI、Anthropic、Gemini、Amazon Bedrock、LangChain、LangGraph、LlamaIndex、CrewAI、AutoGen、Vercel AI、LiteLLM 以及数十个其他服务集成。本站列出了 100 多种 LLM 提供商和代理框架的集成。
如何开始使用 MLflow?
运行 `uvx mlflow server`,约 30 秒即可启动本地跟踪服务器。然后设置跟踪 URI,并为您的框架启用自动日志记录,例如针对 LLM 应用使用 `mlflow.openai.autolog()`,或针对 scikit-learn 模型使用 `mlflow.sklearn.autolog()`。
MLflow 支持 OpenTelemetry 吗?
支持。MLflow Tracing 完全兼容 OpenTelemetry,并支持生成式人工智能语义约定。这使团队能够将 MLflow 跟踪与现有的观测堆栈集成,避免供应商锁定。
MLflow 可以在企业组织中使用吗?
可以。MLflow 在财富 500 强公司及成千上万的团队中经过规模验证。它可运行于本地、自有云或托管服务,且最新版本增加了基于角色的访问控制,方便管理 LLM 团队。

