Claude 3 \ Anthropic 对比 GLM-130B

Claude 3 是 Anthropic 推出的第三代大型语言模型系列，于 2024 年 3 月发布。它包括三个层级：Haiku（速度与成本优先）、Sonnet（性能平衡）和 Opus（最高推理深度）。每个模型针对不同的智能、延迟和价格之间的权衡进行优化。

该系列处理文本、代码、分析和视觉任务。Claude 3 模型可以处理照片、图表、图形和技术图解。在发布时，支持 20 万 tokens 的上下文窗口，部分客户还能使用超过 100 万 tokens 的输入。Opus 和 Sonnet 在 claude.ai 和 Claude API 上上线支持 159 个国家，Haiku 紧随其后不久也将推出。

Anthropic 在构建 Claude 3 时采用了宪法式 AI 安全方法和负责任的扩展政策（Responsible Scaling Policy）保护措施。这些模型通过 Claude API、Amazon Bedrock 和 Google Cloud Vertex AI 提供。Sonnet 支持 claude.ai 的免费层，而 Opus 则向 Claude Pro 订阅用户提供。

GLM-130B 将一个拥有1300亿参数的双语语言模型纳入了由THUDM基于通用语言模型（GLM）预训练方案构建的开放研究框架中。该模型权重针对英语和中文文本，GitHub仓库提供了推理代码、评估任务以及在ICLR 2023接受的检查点。您可以在单个多GPU服务器上运行从左到右的生成或使用[MASK]和[gMASK]标记的空白填充，而无需依赖专有API。

大多数超过1000亿参数的模型都保持封闭，GLM-130B则公开了模型权重、训练笔记和30多个基准测试的YAML配置。其INT4量化路径经过调优，使得四张RTX 3090（24GB）显卡几乎无精度损失地支持推理，这远低于用于完整FP16运行的八张A100（40GB）显卡配置。训练目标将95%的标记采用自回归空白填充，与来自T0++和DeepStruct的多任务指令数据混合，这与标准的因果GPT风格预训练有所不同。

研究双语零样本迁移、大模型量化或可复现的大型语言模型基准的研究人员将从GLM-130B中获益最多。该仓库侧重于评估和推理工具，而非托管聊天产品，尽管THUDM后来将对话工作拆分为ChatGLM。请准备好自备GPU、260GB检查点的存储空间以及下载权重时的耐心。