mshumer/gpt-prompt-engineer - GitHub 对比 ZenPrompts

mshumer/gpt-prompt-engineer 是一个开源的提示词工程工具包，可为您定义的任务生成、测试和排序候选提示词。您描述用例、提供测试用例，笔记本会创建多个提示词变体，在每个测试用例上运行它们，并使用 ELO 评分系统（起始分为 1200）对结果进行排序。它以 Jupyter 笔记本形式提供，您可以在 Google Colab 或本地运行。

大多数提示词工具一次只帮助您编写一个提示词。gpt-prompt-engineer 则将提示词选择视为一场锦标赛：数十个候选提示词在您的测试用例上竞争，最高 ELO 分数会显示出获胜者。单独的笔记本涵盖分类任务、使用自动生成测试用例的 Claude 3 Opus，以及用于降低推理成本的 Opus-to-Haiku 转换。可选的 Weights & Biases 和 Portkey 可记录每次运行的追踪信息。

ML 工程师、提示词工程师和 AI 开发者在需要可复现的提示词调优（而非手动反复试错）时会使用它。该仓库在 GitHub 上获得了 9.7k 星标，并可使用您自己的 OpenAI 或 Anthropic API 密钥运行。它在 MIT 许可证下免费使用。

ZenPrompts 是一个尖端平台，旨在帮助提示工程师为各种 OpenAI 模型创建、完善、测试和共享复杂的提示。这一用户友好的平台具有功能强大的提示编辑器，可以轻松比较多个 AI 模型的提示，确保根据质量、成本和性能选择最合适的模型。该服务在测试版期间免费使用，为用户提供了有价值的工具，以强调他们的创造力的简约设计来开发和展示他们的即时作品集。

借助 ZenPrompts，用户可以尝试提示，而不必担心丢失以前的工作，与更广泛的社区分享他们的发明，并采用 DRY（不要重复自己）方法使用动态变量来高效创建提示。此外，用户可以选择记录带有评论的提示，以便更好地组织和保存发展见解。该平台的目标是增强提示工程师的能力，并在大语言模型和人工智能时代展示他们的技能。