最后更新 02-12-2024
Reviews:
Join thousands of AI enthusiasts in the World of AI!
OpenHermes-13B
了解 OpenHermes-13B，这是 teknium 的高级微调模型，它利用从各种 AI 解决方案收集的强大的 GPT-4 生成数据集。 OpenHermes-13B 经过对包含 242,000 个条目的完全开源数据集的精心训练，是利用 Teknium、WizardLM 团队和 Microsoft 等行业领导者的贡献精心制作的。
该模型旨在通过开放数据集增强文本生成，专门设计用于消除人工智能免责声明和拒绝简化通信输出。其训练过程在 a16z 的赞助和 main_horse 的计算资源的推动下，通过允许公众访问 WANDB 项目来实现透明度。深入研究模型令人印象深刻的基准测试结果、与类似模型的平均得分比较，并探索影响其训练的特定超参数。
高级训练数据集： 利用 Hermes 数据集，对整个 AI 领域的 GPT-4 生成的数据进行微调。
开源贡献： 强调采用来自多个人工智能行业贡献者的数据集的开源方法。
**策略过滤：**删除了 OpenAI 拒绝和免责声明等特定内容，以提高输出质量。
基准性能分析： 展示了 GPT4ALL、BigBench 和 AGI-Eval 等不同套件的基准测试结果。
透明的培训流程： 使用公开的 WANDB 项目日志详细说明了培训流程。
1) 什么是 OpenHermes-13B？
OpenHermes-13B 是一种高度先进的人工智能模型，在主要由 GPT-4 生成的数据集上进行了微调，由 teknium 开发并可通过 Hugging Face 获得。
2) 训练 OpenHermes-13B 使用了哪些数据集？
该模型根据来自 GPTeacher、Airoboros、Camel-AI、CodeAlpaca、WizardLM 以及 Microsoft 的 GPT4-LLM 和 Unnatural instructions 数据集的数据集进行了训练。
3) OpenHermes-13B 的 WANDB 项目是公开的吗？
是的，WANDB 项目是公开的，可以通过检查来了解 OpenHermes-13B 的训练和开发过程。
4) 谁赞助了 OpenHermes-13B 的开发？
OpenHermes-13B 的开发由 a16z 赞助，并由 main_horse 提供计算访问支持。
5) OpenHermes-13B 与之前的型号相比有哪些改进？
OpenHermes-13B 在 GPT4ALL Suite 和 BigBench Suite 等基准测试中表现出轻微的改进，但与原始 Hermes 模型相比，AGIEval 有所下降。