FinetuneFast 对比 Galactica

FinetuneFast 是一个付费的机器学习模型微调和部署的模板包。它整合了预配置的训练脚本、数据加载管道、超参数优化和部署模板，帮助开发者比从零开始建造更快地从设置过渡到生产。

该包涵盖文本到图像、大型语言模型、RAG（检索增强生成）应用及相关工作流程。示例中包括 AWS Bedrock、Mistral AI 和 OpenAI 等提供商的参考内容，以及 Flux-Schnell 文本到图像、Fish-Speech 语音合成和检索增强生成的模板。

购买后，用户可以访问含有文档的 GitHub 仓库资料。All In 计划还包括 Discord 社区准入和终身更新。创始人 Patrick 是基于实际的机器学习工程经验（包括模型训练、推理 API 和可扩展基础设施的工作）开发了此产品。

五个从125M到120B参数的开放权重检查点，为研究人员提供了一个科学训练的语言模型，该模型基于1060亿个精心策划的标记，涵盖4800万篇论文、教科书、百科全书和知识库。Galactica在一个仅解码器的Transformer架构内存储、组合并推理多种模态，包括LaTeX、Python代码、SMILES公式和氨基酸序列。Meta的Papers with Code团队开源了权重，供希望研究语言模型如何组织科学知识的研究人员使用。

通用大型语言模型训练于广泛的网络爬取数据，其中社交聊天可能占据标记预算的主导。Galactica仅使用经过策划的开放获取科学资源，论文认为这使其能够进行多轮训练而不过拟合。Meta在2022年11月发布后三天内移除了公共网络演示，因为批评者展示了自信但伪造的引用和方程，因此今天你可以从Hugging Face下载检查点，而不是通过托管界面聊天。

机器学习研究人员可以复现arXiv论文中的基准数字，包括PubMedQA的77.6%和MedMCQA开发集的52.9%。计算生物学家和化学家可以通过Galactica专门为氨基酸序列和SMILES字符串设计的标记测试蛋白质注释和分子任务。研究生在探索科学问答、引用预测或数学文字题时，可以尝试高达1200亿参数的模型，而无需从零开始训练。