最后更新 08-12-2026
Reviews:
Join thousands of AI enthusiasts in the World of AI!
ggml.ai
ggml 通过一个紧凑的 C 张量库，在日常使用的 CPU 和 GPU 上运行大型语言和语音模型，专为设备端推理构建。机器学习工程师和应用开发者通过 llama.cpp 和 whisper.cpp 采用它，以便在无需云端依赖的情况下运行 LLaMA 或 Whisper 工作负载。
像 PyTorch 这样的框架针对训练集群和重度运行时进行了优化。ggml 保持核心库的简洁，零运行时内存分配，无第三方依赖，并采用整数量化，因此 llama.cpp 能在笔记本和 Apple Silicon 上提供 Meta LLaMA 权重服务。
ggml.ai 公司由 Georgi Gerganov 于 2023 年创立，以支持该库，并于 2026 年被 Hugging Face 收购。核心 ggml 项目保持 MIT 许可证，并在 GitHub 上进行开放开发。
支持 llama.cpp 进行 Meta LLaMA 推理和 whisper.cpp 进行 OpenAI Whisper 语音模型
用 C 语言编写，推理过程中无运行时内存分配
支持整数量化，用于商品硬件上的小模型
核心张量库无第三方依赖
跨平台底层实现，硬件支持广泛
MIT 许可证开源库，GitHub 上公开开发
支持广泛使用的 llama.cpp 和 whisper.cpp 推理堆栈
极简 C 库，无第三方依赖
MIT 许可证，GitHub 开放开发
整数量化，提升商品硬件推理效率
底层 C API 需要比托管 LLM API 更多的工程工作
ggml.ai 上没有托管的云产品
未来商业扩展可能偏离开源 MIT 基础
ggml.ai是什么？
ggml.ai支持ggml，这是一个用于机器学习的张量库，使大型模型能够在普通硬件上运行。它为llama.cpp和whisper.cpp提供动力，实现设备端的大型语言模型和语音推理。
ggml.ai可以免费使用吗？
可以，ggml在GitHub上以MIT许可证免费提供。ggml.ai主页声明该库及相关项目采用开放核心模式，开发过程公开。
哪些项目使用了ggml？
ggml为Meta LLaMA模型推理提供支持的llama.cpp和OpenAI Whisper语音转文本的whisper.cpp提供动力。这两个项目都直接链接于ggml.ai主页。
ggml.ai是谁创立的？
ggml.ai由Georgi Gerganov于2023年创立，旨在支持ggml的发展。Nat Friedman和Daniel Gross提供了种子前资金，Hugging Face于2026年收购了该公司。
我如何为ggml做贡献？
贡献者可以通过GitHub上的ggml-org代码库参与开发。主页欢迎开放贡献，并将该项目描述为简约、开放核心且采用MIT许可证。
ggml针对什么硬件？
ggml针对普通硬件，采用低级跨平台实现、整数量化和广泛的硬件支持。它设计用于边缘推理，而非仅限于数据中心部署。