Rompt.ai 对比 mshumer/gpt-prompt-engineer - GitHub

Rompt.ai 是一个创新的开源平台，旨在增强人工智能提示的有效性。它使用户能够通过 A/B 测试系统生成、测试和评估不同的提示组合，从而试验提示工程。该平台提供了创建提示并将其组织到版本控制集合中的灵活性，确保可以有效地复制和扩展实验。使用 Rompt.ai 的原生模板语言，用户可以声明变量以将动态元素引入提示中，使它们更加有效和相关。

该网站拥有支持生成大量输出的功能，可以通过跨多种格式和模型运行即时变化来创建多样化的数据集。随后，用户可以对生成的结果进行评分和分析，以确定最有效的提示，从而优化他们的人工智能交互。这种促进实验的系统方法对于任何想要微调人工智能工具性能的人来说都是有用的，无论是用于研究、开发还是生产目的。

mshumer/gpt-prompt-engineer 是一个开源的提示词工程工具包，可为您定义的任务生成、测试和排序候选提示词。您描述用例、提供测试用例，笔记本会创建多个提示词变体，在每个测试用例上运行它们，并使用 ELO 评分系统（起始分为 1200）对结果进行排序。它以 Jupyter 笔记本形式提供，您可以在 Google Colab 或本地运行。

大多数提示词工具一次只帮助您编写一个提示词。gpt-prompt-engineer 则将提示词选择视为一场锦标赛：数十个候选提示词在您的测试用例上竞争，最高 ELO 分数会显示出获胜者。单独的笔记本涵盖分类任务、使用自动生成测试用例的 Claude 3 Opus，以及用于降低推理成本的 Opus-to-Haiku 转换。可选的 Weights & Biases 和 Portkey 可记录每次运行的追踪信息。

ML 工程师、提示词工程师和 AI 开发者在需要可复现的提示词调优（而非手动反复试错）时会使用它。该仓库在 GitHub 上获得了 9.7k 星标，并可使用您自己的 OpenAI 或 Anthropic API 密钥运行。它在 MIT 许可证下免费使用。