Claude 3 \ Anthropic 对比 Galactica

Claude 3 是 Anthropic 推出的第三代大型语言模型系列，于 2024 年 3 月发布。它包括三个层级：Haiku（速度与成本优先）、Sonnet（性能平衡）和 Opus（最高推理深度）。每个模型针对不同的智能、延迟和价格之间的权衡进行优化。

该系列处理文本、代码、分析和视觉任务。Claude 3 模型可以处理照片、图表、图形和技术图解。在发布时，支持 20 万 tokens 的上下文窗口，部分客户还能使用超过 100 万 tokens 的输入。Opus 和 Sonnet 在 claude.ai 和 Claude API 上上线支持 159 个国家，Haiku 紧随其后不久也将推出。

Anthropic 在构建 Claude 3 时采用了宪法式 AI 安全方法和负责任的扩展政策（Responsible Scaling Policy）保护措施。这些模型通过 Claude API、Amazon Bedrock 和 Google Cloud Vertex AI 提供。Sonnet 支持 claude.ai 的免费层，而 Opus 则向 Claude Pro 订阅用户提供。

五个从125M到120B参数的开放权重检查点，为研究人员提供了一个科学训练的语言模型，该模型基于1060亿个精心策划的标记，涵盖4800万篇论文、教科书、百科全书和知识库。Galactica在一个仅解码器的Transformer架构内存储、组合并推理多种模态，包括LaTeX、Python代码、SMILES公式和氨基酸序列。Meta的Papers with Code团队开源了权重，供希望研究语言模型如何组织科学知识的研究人员使用。

通用大型语言模型训练于广泛的网络爬取数据，其中社交聊天可能占据标记预算的主导。Galactica仅使用经过策划的开放获取科学资源，论文认为这使其能够进行多轮训练而不过拟合。Meta在2022年11月发布后三天内移除了公共网络演示，因为批评者展示了自信但伪造的引用和方程，因此今天你可以从Hugging Face下载检查点，而不是通过托管界面聊天。

机器学习研究人员可以复现arXiv论文中的基准数字，包括PubMedQA的77.6%和MedMCQA开发集的52.9%。计算生物学家和化学家可以通过Galactica专门为氨基酸序列和SMILES字符串设计的标记测试蛋白质注释和分子任务。研究生在探索科学问答、引用预测或数学文字题时，可以尝试高达1200亿参数的模型，而无需从零开始训练。