BIG-bench 对比 GPT-4

GitHub 上提供的 Google BIG-bench 项目提供了一个名为 Beyond the Imitation Game (BIG-bench) 的开创性基准系统，致力于评估和理解语言模型当前和潜在的未来功能。 BIG-bench 是一项开放式协作计划，包括 200 多项不同的任务，满足语言理解和认知能力各个方面的需求。

任务是有组织的，可以通过关键字或任务名称进行探索。感兴趣的人可以公开获取讨论该基准及其对著名语言模型评估的科学预印本。该基准测试是研究人员和开发人员的重要资源，旨在衡量语言模型的性能并推断其发展轨迹。有关基准测试的更多详细信息，包括有关任务创建、模型评估和常见问题解答的说明，可以参阅 GitHub 存储库上提供的该项目的大量文档。

GPT-4是Openai在扩大深度学习方面努力的最新里程碑。

GPT-4是一个大型的多模式模型（接受图像和文本输入，发射文本输出），尽管在许多现实世界中，虽然比人类的能力较低，但在各种专业和学术基准中都表现出人级的性能。例如，它通过模拟的律师考试，其得分围绕着考试者的前10％。相比之下，GPT-3.5的得分约为底部的10％。我们花了6个月的时间使用对抗性测试计划和CHATGPT的课程将GPT-4的迭代对准4，从而在事实，可管道性和拒绝外出护栏方面取得了我们最好的结果（尽管远非完美）。

GPT-4比以往任何时候都更具创造力和协作性。它可以在创意和技术写作任务上生成，编辑和迭代，例如创作歌曲，写剧本或学习用户的写作方式。