Pythia 对比 GPT-4

Pythia 是一个广泛的套件，旨在分析大型语言模型 (LLM) 的开发和扩展。它由 16 个模型组成，每个模型都按照一致的顺序使用公共数据进行训练，参数大小从 7000 万到 120 亿不等。该项目为公众提供了对每个模型 154 个检查点的访问，以及重现训练数据加载器以进行深入研究的工具。 Pythia 旨在通过案例研究来帮助各个研究领域，例如记忆、术语频率对小样本学习的影响以及减轻性别偏见的策略。这种精心控制的环境为法学硕士的培训动态提供了独特的见解。该套件包括经过训练的模型、分析代码、训练代码和数据，所有这些都可以通过其 GitHub 存储库访问。

GPT-4是Openai在扩大深度学习方面努力的最新里程碑。

GPT-4是一个大型的多模式模型（接受图像和文本输入，发射文本输出），尽管在许多现实世界中，虽然比人类的能力较低，但在各种专业和学术基准中都表现出人级的性能。例如，它通过模拟的律师考试，其得分围绕着考试者的前10％。相比之下，GPT-3.5的得分约为底部的10％。我们花了6个月的时间使用对抗性测试计划和CHATGPT的课程将GPT-4的迭代对准4，从而在事实，可管道性和拒绝外出护栏方面取得了我们最好的结果（尽管远非完美）。

GPT-4比以往任何时候都更具创造力和协作性。它可以在创意和技术写作任务上生成，编辑和迭代，例如创作歌曲，写剧本或学习用户的写作方式。