DeBERTa 对比 Stellaris AI

DeBERTa通过采用解缠关注机制，单独编码词内容和位置，从而增强自然语言理解。这使得模型能够更好地捕捉句子中词之间的关系，提升上下文理解能力。

DeBERTa的独特之处在于其结合了ELECTRA风格的预训练和梯度解缠嵌入共享。这种方法提高了训练效率和模型性能，使得较小的模型在MNLI和SQuAD v2.0等基准测试中能够优于更大的模型。

DeBERTa提供多种预训练模型，参数范围从2200万到15亿不等，包括支持超过100种语言的多语言版本。它支持与PyTorch、Docker和pip的集成，并提供预训练和微调的脚本及文档。

该工具在SuperGLUE等基准测试中取得了先进的结果，其大型模型已超越人类性能。其在模型大小、效率和准确率之间的平衡，使其适用于科研和实际的自然语言处理应用。

由微软研究人员在GitHub上维护，DeBERTa鼓励社区贡献，并提供合作与咨询的支持。

Stellaris AI 构建了以原生安全性和类人推理为核心的大型语言模型，应用于现实任务。其旗舰产品线 SGPT 主要面向文本和代码生成、知识问答、逻辑推理及分析，规模达到公司所称的数千亿参数。公开网站主要提供 SGPT-4.5 的候补名单，而非可立即使用的自助聊天产品。

与许多大型语言模型实验室在训练后才加装安全过滤器不同，Stellaris AI 将安全性作为模型架构的一部分，通过严格的来源引用和伤害最小化来实现。它还强调实时上下文学习（RCL），通过实时知识调整答案，旨在为需要带引用输出而非未经核实生成内容的团队提供解决方案。

研究人员、企业 AI 团队和早期用户可加入 SGPT-4.5 候补名单以优先体验。公司表示其拥有超过 10 年的研究经验和三个核心产品支柱：Stellaris GPT、原生安全性和 RCL。