RedPajama 对比 ggml.ai

隆重推出 Together 的 RedPajama-INCITE 系列型号！最新版本在 AI 模型可用性方面迈出了突破性的一步，重点关注基础、指令调整和聊天 AI 模型。此版本的核心是 30 亿 (3B) 和 70 亿 (7B) 参数模型，旨在紧密复制高性能 AI 的 LLaMA 配方。

这些模型在庞大的 5 TB RedPajama 基础数据集上经过精心训练，展示了卓越的功能以及与各种硬件的兼容性，包括早至 RTX 2070 的 GPU。非常适合少量学习和下游应用，例如实体提取、通过分类和总结，这些模型在 HELM 基准测试规模上的指令调整方面树立了新的基准，不仅优于同行，而且还为人工智能研究和实际应用引入了新途径。用户将对 7B 模型的持续训练进度特别感兴趣，该模型已经展现出相对于类似模型的竞争优势。所有模型均在 Apache 2.0 许可下发布，促进研究和商业用途并推进人工智能领域的开放合作。

ggml.ai 处于人工智能技术的前沿，通过其创新的张量库将强大的机器学习功能直接带到边缘。 ggml.ai 专为通用硬件平台上的大型模型支持和高性能而构建，使开发人员能够实现先进的人工智能算法，而无需专门的设备。该平台采用高效的 C 编程语言编写，提供 16 位浮点和整数量化支持，以及自动微分和各种内置优化算法（如 ADAM 和 L-BFGS）。它拥有针对 Apple Silicon 的优化性能，并在 x86 架构上利用 AVX/AVX2 内在函数。基于 Web 的应用程序还可以通过 WebAssembly 和 WASM SIMD 支持来利用其功能。凭借零运行时内存分配和不存在第三方依赖项，ggml.ai 为设备上推理提供了一种最小且高效的解决方案。

诸如whisper.cpp和llama.cpp之类的项目展示了ggml.ai的高性能推理能力，其中whisper.cpp提供语音到文本的解决方案，llama.cpp专注于Meta的LLaMA大语言模型的高效推理。此外，该公司欢迎对其代码库做出贡献，并通过 MIT 许可证支持开放核心开发模型。随着 ggml.ai 的不断扩张，它正在寻找对设备上推理有共同愿景的有才华的全职开发人员加入他们的团队。

ggml.ai 旨在突破边缘人工智能的极限，证明了人工智能社区的游戏和创新精神。