GLM-130B 对比 Stellaris AI

GLM-130B 将一个拥有1300亿参数的双语语言模型纳入了由THUDM基于通用语言模型（GLM）预训练方案构建的开放研究框架中。该模型权重针对英语和中文文本，GitHub仓库提供了推理代码、评估任务以及在ICLR 2023接受的检查点。您可以在单个多GPU服务器上运行从左到右的生成或使用[MASK]和[gMASK]标记的空白填充，而无需依赖专有API。

大多数超过1000亿参数的模型都保持封闭，GLM-130B则公开了模型权重、训练笔记和30多个基准测试的YAML配置。其INT4量化路径经过调优，使得四张RTX 3090（24GB）显卡几乎无精度损失地支持推理，这远低于用于完整FP16运行的八张A100（40GB）显卡配置。训练目标将95%的标记采用自回归空白填充，与来自T0++和DeepStruct的多任务指令数据混合，这与标准的因果GPT风格预训练有所不同。

研究双语零样本迁移、大模型量化或可复现的大型语言模型基准的研究人员将从GLM-130B中获益最多。该仓库侧重于评估和推理工具，而非托管聊天产品，尽管THUDM后来将对话工作拆分为ChatGLM。请准备好自备GPU、260GB检查点的存储空间以及下载权重时的耐心。

Stellaris AI 构建了以原生安全性和类人推理为核心的大型语言模型，应用于现实任务。其旗舰产品线 SGPT 主要面向文本和代码生成、知识问答、逻辑推理及分析，规模达到公司所称的数千亿参数。公开网站主要提供 SGPT-4.5 的候补名单，而非可立即使用的自助聊天产品。

与许多大型语言模型实验室在训练后才加装安全过滤器不同，Stellaris AI 将安全性作为模型架构的一部分，通过严格的来源引用和伤害最小化来实现。它还强调实时上下文学习（RCL），通过实时知识调整答案，旨在为需要带引用输出而非未经核实生成内容的团队提供解决方案。

研究人员、企业 AI 团队和早期用户可加入 SGPT-4.5 候补名单以优先体验。公司表示其拥有超过 10 年的研究经验和三个核心产品支柱：Stellaris GPT、原生安全性和 RCL。