OpenHermes-13B
OpenHermes-13B是一款经过微调的语言模型,建立在一个完全开源的数据集上,该数据集包含242,000条条目,主要由GPT-4生成,并从各种开放AI数据集精选。它旨在通过消除AI免责声明和拒绝回答的情况,改善文本生成的清晰度和直接性,从而实现更为流畅的沟通输出。该模型融合了来自Teknium、WizardLM团队、微软等多个贡献者的数据,确保训练基础的多样性和全面性。
该模型面向希望获得无需传统AI安全免责声明的高级文本生成开源替代方案的开发者和研究人员。它支持与Transformers等流行机器学习库集成,可在本地或通过Docker部署,方便实验和生产用途。
OpenHermes-13B在训练过程中保持透明,公众可以访问其WANDB项目日志和详细基准测试结果。在GPT4All和BigBench等基准测试中表现出具有竞争力的性能,略优于类似模型,尽管在AGI-Eval评分方面存在一些权衡。
在技术层面,该模型采用多GPU配置,通过Adam优化器和余弦学习率调度进行训练,强调可复现性和开放合作。它兼容各种推理工具和量化方法,适用于llama.cpp和LM Studio等环境。
总体而言,OpenHermes-13B为寻求强大、开源、经过指令微调且无限制AI免责声明的文本生成模型的用户提供了宝贵资源,适合用于各种AI研究、开发和部署应用。
📚 开源数据集:基于242,000条由GPT-4生成的条目训练,提供多样且丰富的语言理解。
⚙️ 简易集成:兼容流行的机器学习库如Transformers,并支持本地及Docker部署。
🔍 透明训练:公开的WANDB日志展示训练过程及性能指标。
🚀 竞争表现:在GPT4All和BigBench数据集上表现出强劲的基准测试成绩。
🛠️ 灵活使用:支持量化,兼容llama.cpp和LM Studio等工具,适应多样化部署场景。
完全开源的训练数据集,确保透明度和社区信任。
去除AI免责声明,实现更自然直接的文本生成。
支持多种部署选项,包括本地、Docker及主流机器学习框架。
提供详细的基准测试结果,便于性能评估。
与顶尖AI团队合作开发,共同贡献。
当前不被 Hugging Face 推理提供商支持,限制了托管 API 选项。
在 AGI-Eval 基准测试中的表现稍低于某些相关模型。
需要技术知识才能有效部署和集成。
如何在本地部署 OpenHermes-13B?
您可以使用 Transformers 库或 Hugging Face 提供的 Docker 镜像在本地部署 OpenHermes-13B。指南包括使用 pipelines 或通过 vLLM 或 SGLang 运行服务器。
OpenHermes-13B 是否可以通过 Hugging Face 推理提供商使用?
目前,OpenHermes-13B 尚未被 Hugging Face 推理提供商支持,但您可以通过 Hugging Face 社区请求支持。
OpenHermes-13B 使用了哪些数据集进行训练?
它基于一个完全开源的数据集训练,包含 242,000 条条目,数据来源包括 GPTeacher、WizardLM、Airoboros、Camel-AI、CodeAlpaca 以及微软数据集中的 GPT-4 生成数据。
OpenHermes-13B 的输出中是否包含 AI 免责声明?
不包含,训练数据经过过滤,去除了 AI 免责声明和拒绝内容,使生成的文本更加直接自然。
OpenHermes-13B 的主要使用场景有哪些?
适用于指令跟随的文本生成、研究、本地部署以及开源语言模型的实验。
运行 OpenHermes-13B 需要什么技术要求?
运行该模型需要多 GPU 环境或兼容的硬件,支持通过主流机器学习框架和 Docker 容器进行部署。
OpenHermes-13B 与类似模型相比表现如何?
在 GPT4All 和 BigBench 基准测试中表现略有提升,但在 AGI-Eval 分数上相较 Nous-Hermes 略有下降。

