RedPajama 对比 Stellaris AI

RedPajama-INCITE 是由 Together AI 开发的一系列开源大型语言模型，包括 30 亿和 70 亿参数版本，训练基于庞大的 5 TB RedPajama 基础数据集。这些模型与 LLaMA 架构紧密相似，涵盖基础、指令调优和聊天变体，全部以 Apache 2.0 许可发布，供研究和商业用途。

其中，3B 模型表现卓越，速度快、易于访问，甚至可以在 RTX 2070 等旧式GPU上运行。指令调优版本在 HELM 基准测试中表现强劲，70 亿参数模型比原始 LLaMA 7B 基础模型高出几个百分点，展示出在少样本学习、实体抽取、分类和总结等任务中的潜力。

训练采用了先进技术，包括 EleutherAI Pythia 架构和 DeeperSpeed 优化，模型训练依托 Summit 超级计算机资源。70 亿参数模型仍在训练中，但已超越同类开源模型，彰显 RedPajama 数据集和训练方法的价值。

Together AI 提供了全面的平台支持这些模型，包括加速计算、GPU 集群、微调、托管存储和推理服务。这个生态系统帮助开发者和企业高效部署、定制和扩展 AI 应用。

开源和宽容的许可证促进社区合作与创新，计划持续改进数据集和更大规模的模型。Together AI 还提供丰富的文档、演示和开发者工具，以促进应用推广。

总的来看，RedPajama 模型为构建 AI 应用提供了具有竞争力且易于访问的基础，配备了生产级的基础设施和活跃的社区支持，代表了向各类应用领域推广高质量大型语言模型的重要迈进。

Stellaris AI 构建了以原生安全性和类人推理为核心的大型语言模型，应用于现实任务。其旗舰产品线 SGPT 主要面向文本和代码生成、知识问答、逻辑推理及分析，规模达到公司所称的数千亿参数。公开网站主要提供 SGPT-4.5 的候补名单，而非可立即使用的自助聊天产品。

与许多大型语言模型实验室在训练后才加装安全过滤器不同，Stellaris AI 将安全性作为模型架构的一部分，通过严格的来源引用和伤害最小化来实现。它还强调实时上下文学习（RCL），通过实时知识调整答案，旨在为需要带引用输出而非未经核实生成内容的团队提供解决方案。

研究人员、企业 AI 团队和早期用户可加入 SGPT-4.5 候补名单以优先体验。公司表示其拥有超过 10 年的研究经验和三个核心产品支柱：Stellaris GPT、原生安全性和 RCL。