Claude 3 \ Anthropic 对比 UniLM

Claude 3 是 Anthropic 推出的第三代大型语言模型系列，于 2024 年 3 月发布。它包括三个层级：Haiku（速度与成本优先）、Sonnet（性能平衡）和 Opus（最高推理深度）。每个模型针对不同的智能、延迟和价格之间的权衡进行优化。

该系列处理文本、代码、分析和视觉任务。Claude 3 模型可以处理照片、图表、图形和技术图解。在发布时，支持 20 万 tokens 的上下文窗口，部分客户还能使用超过 100 万 tokens 的输入。Opus 和 Sonnet 在 claude.ai 和 Claude API 上上线支持 159 个国家，Haiku 紧随其后不久也将推出。

Anthropic 在构建 Claude 3 时采用了宪法式 AI 安全方法和负责任的扩展政策（Responsible Scaling Policy）保护措施。这些模型通过 Claude API、Amazon Bedrock 和 Google Cloud Vertex AI 提供。Sonnet 支持 claude.ai 的免费层，而 Opus 则向 Claude Pro 订阅用户提供。

UniLM是微软研究院推出的预训练语言模型，能够同时处理自然语言理解和文本生成任务，利用一个共享的Transformer架构。你可以只调优一个checkpoint，用于阅读任务如问答，也适用于写作任务如摘要或对话，而无需维护单独的编码器和解码器模型。这些代码和预训练权重通过microsoft/unilm GitHub仓库以MIT许可协议发布。

BERT风格的模型擅长阅读理解，但在生成方面需要额外的解码器堆叠。UniLM训练一种Transformer模型，配备三种注意力_mask模式：单向、双向和序列到序列。这样的设计让相同的权重在GLUE和SQuAD数据集上与BERT竞争，同时在2019年设定了摘要和问答生成的基准测试——这是许多同期模型未曾打破的分界。

机器学习研究人员和自然语言处理工程师在需要一个代码库中既有理解也有生成任务的公开基准、训练脚本和checkpoint文件时会选择使用UniLM。虽然该仓库还涵盖了后续版本如UniLMv2（伪掩码语言模型，ICML 2020），但v1仍然是NeurIPS 2019论文中描述的原始统一掩码方法的参考版本。