mshumer/gpt-prompt-engineer - GitHub 对比 H2O.ai

mshumer/gpt-prompt-engineer 是一个开源的提示词工程工具包，可为您定义的任务生成、测试和排序候选提示词。您描述用例、提供测试用例，笔记本会创建多个提示词变体，在每个测试用例上运行它们，并使用 ELO 评分系统（起始分为 1200）对结果进行排序。它以 Jupyter 笔记本形式提供，您可以在 Google Colab 或本地运行。

大多数提示词工具一次只帮助您编写一个提示词。gpt-prompt-engineer 则将提示词选择视为一场锦标赛：数十个候选提示词在您的测试用例上竞争，最高 ELO 分数会显示出获胜者。单独的笔记本涵盖分类任务、使用自动生成测试用例的 Claude 3 Opus，以及用于降低推理成本的 Opus-to-Haiku 转换。可选的 Weights & Biases 和 Portkey 可记录每次运行的追踪信息。

ML 工程师、提示词工程师和 AI 开发者在需要可复现的提示词调优（而非手动反复试错）时会使用它。该仓库在 GitHub 上获得了 9.7k 星标，并可使用您自己的 OpenAI 或 Anthropic API 密钥运行。它在 MIT 许可证下免费使用。

H2O.ai 为银行、电信和政府团队构建企业级机器学习和生成式人工智能软件，满足私有数据上的模型需求。其技术栈涵盖开源的 H2O-3、Driverless AI 中的 AutoML、Hydrogen Torch 中的无代码深度学习，以及可在本地、VPC 或 H2O 管理云上运行的 h2oGPTe 代理。

许多供应商仅提供单一聊天机器人产品，H2O.ai 则提供预测建模、Enterprise LLM Studio 中的大型语言模型微调、通过 tabH2O CSV 上传的表格预测，以及针对欺诈、呼叫中心和文档工作流的垂直代理等多条路径。案例研究显示，联邦银行将诈骗损失减少了 70%，AT&T 在呼叫中心自动化的生成式 AI 投资中实现了 2 倍的投资回报率。

数据科学领导者和受监管企业采用该平台进行隔离部署，H2O AI Cloud 提供 SOC 2 Type II 及 HIPAA/HITECH 认证保障。平台支持与 Google Drive、Slack、GitHub、AWS、Snowflake 和 SharePoint 的集成，以及开放权重模型如 Danube3 SLMs 和 Mississippi 视觉语言 OCR。