ggml.ai 对比 Llama 2

ggml.ai 处于人工智能技术的前沿，通过其创新的张量库将强大的机器学习功能直接带到边缘。 ggml.ai 专为通用硬件平台上的大型模型支持和高性能而构建，使开发人员能够实现先进的人工智能算法，而无需专门的设备。该平台采用高效的 C 编程语言编写，提供 16 位浮点和整数量化支持，以及自动微分和各种内置优化算法（如 ADAM 和 L-BFGS）。它拥有针对 Apple Silicon 的优化性能，并在 x86 架构上利用 AVX/AVX2 内在函数。基于 Web 的应用程序还可以通过 WebAssembly 和 WASM SIMD 支持来利用其功能。凭借零运行时内存分配和不存在第三方依赖项，ggml.ai 为设备上推理提供了一种最小且高效的解决方案。

诸如whisper.cpp和llama.cpp之类的项目展示了ggml.ai的高性能推理能力，其中whisper.cpp提供语音到文本的解决方案，llama.cpp专注于Meta的LLaMA大语言模型的高效推理。此外，该公司欢迎对其代码库做出贡献，并通过 MIT 许可证支持开放核心开发模型。随着 ggml.ai 的不断扩张，它正在寻找对设备上推理有共同愿景的有才华的全职开发人员加入他们的团队。

ggml.ai 旨在突破边缘人工智能的极限，证明了人工智能社区的游戏和创新精神。

我们的下一代开源大语言模型

此版本包括预训练和微调 Llama 语言模型的模型权重和起始代码 - 参数范围从 7B 到 70B。

Llama 2 的训练数据比 Llama 1 多 40%，上下文长度是 Llama 1 的两倍。

训练 Llama-2-chat：Llama 2 使用公开的在线数据进行预训练。然后通过使用监督微调创建 Llama-2-chat 的初始版本。接下来，Llama-2-chat 使用人类反馈强化学习 (RLHF) 进行迭代细化，其中包括拒绝采样和近端策略优化 (PPO)。

Meta 和 Microsoft 合作推出了 Llama 2，这是其广泛使用的大型语言模型 Llama 的开源继承者。这一突破性的模型旨在增强人工智能的功能，免费提供研究和商业用途。作为公认的首选合作伙伴，微软正在将 Llama 2 集成到其 Azure AI 模型目录中，为开发人员提供强大的云原生工具和针对 Windows 平台的优化。

Llama 2 还可以通过 AWS 和 Hugging Face 等其他主要提供商访问。 Meta 和 Microsoft 致力于负责任的人工智能创新，强调透明度和面向社区的开发，提供红队练习、透明度示意图和负责任的使用指南等资源。开放创新人工智能研究社区和 Llama Impact Challenge 等合作举措也是此次推出的一部分，旨在促进 Llama 2 在各个领域的负责任应用。