Claude 3 \ Anthropic 对比 Switch Transformers

Claude 3 是 Anthropic 推出的第三代大型语言模型系列，于 2024 年 3 月发布。它包括三个层级：Haiku（速度与成本优先）、Sonnet（性能平衡）和 Opus（最高推理深度）。每个模型针对不同的智能、延迟和价格之间的权衡进行优化。

该系列处理文本、代码、分析和视觉任务。Claude 3 模型可以处理照片、图表、图形和技术图解。在发布时，支持 20 万 tokens 的上下文窗口，部分客户还能使用超过 100 万 tokens 的输入。Opus 和 Sonnet 在 claude.ai 和 Claude API 上上线支持 159 个国家，Haiku 紧随其后不久也将推出。

Anthropic 在构建 Claude 3 时采用了宪法式 AI 安全方法和负责任的扩展政策（Responsible Scaling Policy）保护措施。这些模型通过 Claude API、Amazon Bedrock 和 Google Cloud Vertex AI 提供。Sonnet 支持 claude.ai 的免费层，而 Opus 则向 Claude Pro 订阅用户提供。

Switch Transformers 引入了一种稀疏的 Mixture of Experts 架构，将每个输入路由到一个专家，从而减少通信开销，同时在计算成本保持不变的情况下实现万亿参数语言模型的扩展。谷歌研究员 William Fedus、Barret Zoph 和 Noam Shazeer 的这篇论文简化了 MoE 的路由方法，改善了训练的稳定性，并报告在相同计算预算下预训练速度比密集型 T5 模型快最多7倍。

这种方法建立在 T5 架构之上，支持跨 101 种语言的多语言训练。Switch Transformers 也支持使用 bfloat16 精度进行训练，以实现更快、更稳定的大规模运行。这项工作面向需要在不等比例增加硬件成本的情况下扩展 NLP 模型的研究人员和工程师。

作为一篇研究论文，Switch Transformers 已在 arXiv 上发布，旨在记录高效稀疏激活的方法，而非商业 SaaS 产品。论文和 PDF 可免费下载和引用。