GLM-130B 对比 ggml.ai

在 ICLR 2023 上展示的 GLM-130B 代表了一种突破性的开放式双语预训练模型，以其令人印象深刻的 1300 亿个参数而脱颖而出。 GLM-130B 专为中英文双向密集建模而开发，利用通用语言模型 (GLM) 算法进行预训练，并经过优化，可在单个服务器设置上运行推理任务，无论是 A100 (40G * 8)或V100（32G * 8）。此外，它与 INT4 量化的兼容性意味着可以进一步降低本已适度的硬件要求，从而允许具有 4 * RTX 3090 (24G) 的服务器以最小的性能下降来支持该模型。

作为训练过程的一部分，GLM-130B 消化了由超过 4000 亿个文本标记组成的广泛数据集，其中中文和英文均等。与同类产品相比，它拥有卓越的双语支持、跨各种数据集的卓越性能，并提供快速的推理时间。此外，该存储库还通过促进 30 多个任务的开源代码和模型检查点来提高可重复性。

ggml.ai 处于人工智能技术的前沿，通过其创新的张量库将强大的机器学习功能直接带到边缘。 ggml.ai 专为通用硬件平台上的大型模型支持和高性能而构建，使开发人员能够实现先进的人工智能算法，而无需专门的设备。该平台采用高效的 C 编程语言编写，提供 16 位浮点和整数量化支持，以及自动微分和各种内置优化算法（如 ADAM 和 L-BFGS）。它拥有针对 Apple Silicon 的优化性能，并在 x86 架构上利用 AVX/AVX2 内在函数。基于 Web 的应用程序还可以通过 WebAssembly 和 WASM SIMD 支持来利用其功能。凭借零运行时内存分配和不存在第三方依赖项，ggml.ai 为设备上推理提供了一种最小且高效的解决方案。

诸如whisper.cpp和llama.cpp之类的项目展示了ggml.ai的高性能推理能力，其中whisper.cpp提供语音到文本的解决方案，llama.cpp专注于Meta的LLaMA大语言模型的高效推理。此外，该公司欢迎对其代码库做出贡献，并通过 MIT 许可证支持开放核心开发模型。随着 ggml.ai 的不断扩张，它正在寻找对设备上推理有共同愿景的有才华的全职开发人员加入他们的团队。

ggml.ai 旨在突破边缘人工智能的极限，证明了人工智能社区的游戏和创新精神。