OpenHermes-13B 对比 mshumer/gpt-prompt-engineer - GitHub

OpenHermes-13B是一款经过微调的语言模型，建立在一个完全开源的数据集上，该数据集包含242,000条条目，主要由GPT-4生成，并从各种开放AI数据集精选。它旨在通过消除AI免责声明和拒绝回答的情况，改善文本生成的清晰度和直接性，从而实现更为流畅的沟通输出。该模型融合了来自Teknium、WizardLM团队、微软等多个贡献者的数据，确保训练基础的多样性和全面性。

该模型面向希望获得无需传统AI安全免责声明的高级文本生成开源替代方案的开发者和研究人员。它支持与Transformers等流行机器学习库集成，可在本地或通过Docker部署，方便实验和生产用途。

OpenHermes-13B在训练过程中保持透明，公众可以访问其WANDB项目日志和详细基准测试结果。在GPT4All和BigBench等基准测试中表现出具有竞争力的性能，略优于类似模型，尽管在AGI-Eval评分方面存在一些权衡。

在技术层面，该模型采用多GPU配置，通过Adam优化器和余弦学习率调度进行训练，强调可复现性和开放合作。它兼容各种推理工具和量化方法，适用于llama.cpp和LM Studio等环境。

总体而言，OpenHermes-13B为寻求强大、开源、经过指令微调且无限制AI免责声明的文本生成模型的用户提供了宝贵资源，适合用于各种AI研究、开发和部署应用。

mshumer/gpt-prompt-engineer 是一个开源的提示词工程工具包，可为您定义的任务生成、测试和排序候选提示词。您描述用例、提供测试用例，笔记本会创建多个提示词变体，在每个测试用例上运行它们，并使用 ELO 评分系统（起始分为 1200）对结果进行排序。它以 Jupyter 笔记本形式提供，您可以在 Google Colab 或本地运行。

大多数提示词工具一次只帮助您编写一个提示词。gpt-prompt-engineer 则将提示词选择视为一场锦标赛：数十个候选提示词在您的测试用例上竞争，最高 ELO 分数会显示出获胜者。单独的笔记本涵盖分类任务、使用自动生成测试用例的 Claude 3 Opus，以及用于降低推理成本的 Opus-to-Haiku 转换。可选的 Weights & Biases 和 Portkey 可记录每次运行的追踪信息。

ML 工程师、提示词工程师和 AI 开发者在需要可复现的提示词调优（而非手动反复试错）时会使用它。该仓库在 GitHub 上获得了 9.7k 星标，并可使用您自己的 OpenAI 或 Anthropic API 密钥运行。它在 MIT 许可证下免费使用。