UniLM 对比 Stellaris AI

UniLM是微软研究院推出的预训练语言模型，能够同时处理自然语言理解和文本生成任务，利用一个共享的Transformer架构。你可以只调优一个checkpoint，用于阅读任务如问答，也适用于写作任务如摘要或对话，而无需维护单独的编码器和解码器模型。这些代码和预训练权重通过microsoft/unilm GitHub仓库以MIT许可协议发布。

BERT风格的模型擅长阅读理解，但在生成方面需要额外的解码器堆叠。UniLM训练一种Transformer模型，配备三种注意力_mask模式：单向、双向和序列到序列。这样的设计让相同的权重在GLUE和SQuAD数据集上与BERT竞争，同时在2019年设定了摘要和问答生成的基准测试——这是许多同期模型未曾打破的分界。

机器学习研究人员和自然语言处理工程师在需要一个代码库中既有理解也有生成任务的公开基准、训练脚本和checkpoint文件时会选择使用UniLM。虽然该仓库还涵盖了后续版本如UniLMv2（伪掩码语言模型，ICML 2020），但v1仍然是NeurIPS 2019论文中描述的原始统一掩码方法的参考版本。

Stellaris AI 构建了以原生安全性和类人推理为核心的大型语言模型，应用于现实任务。其旗舰产品线 SGPT 主要面向文本和代码生成、知识问答、逻辑推理及分析，规模达到公司所称的数千亿参数。公开网站主要提供 SGPT-4.5 的候补名单，而非可立即使用的自助聊天产品。

与许多大型语言模型实验室在训练后才加装安全过滤器不同，Stellaris AI 将安全性作为模型架构的一部分，通过严格的来源引用和伤害最小化来实现。它还强调实时上下文学习（RCL），通过实时知识调整答案，旨在为需要带引用输出而非未经核实生成内容的团队提供解决方案。

研究人员、企业 AI 团队和早期用户可加入 SGPT-4.5 候补名单以优先体验。公司表示其拥有超过 10 年的研究经验和三个核心产品支柱：Stellaris GPT、原生安全性和 RCL。