Llama 2 对比 GPT-4

我们的下一代开源大语言模型

此版本包括预训练和微调 Llama 语言模型的模型权重和起始代码 - 参数范围从 7B 到 70B。

Llama 2 的训练数据比 Llama 1 多 40%，上下文长度是 Llama 1 的两倍。

训练 Llama-2-chat：Llama 2 使用公开的在线数据进行预训练。然后通过使用监督微调创建 Llama-2-chat 的初始版本。接下来，Llama-2-chat 使用人类反馈强化学习 (RLHF) 进行迭代细化，其中包括拒绝采样和近端策略优化 (PPO)。

Meta 和 Microsoft 合作推出了 Llama 2，这是其广泛使用的大型语言模型 Llama 的开源继承者。这一突破性的模型旨在增强人工智能的功能，免费提供研究和商业用途。作为公认的首选合作伙伴，微软正在将 Llama 2 集成到其 Azure AI 模型目录中，为开发人员提供强大的云原生工具和针对 Windows 平台的优化。

Llama 2 还可以通过 AWS 和 Hugging Face 等其他主要提供商访问。 Meta 和 Microsoft 致力于负责任的人工智能创新，强调透明度和面向社区的开发，提供红队练习、透明度示意图和负责任的使用指南等资源。开放创新人工智能研究社区和 Llama Impact Challenge 等合作举措也是此次推出的一部分，旨在促进 Llama 2 在各个领域的负责任应用。

GPT-4是Openai在扩大深度学习方面努力的最新里程碑。

GPT-4是一个大型的多模式模型（接受图像和文本输入，发射文本输出），尽管在许多现实世界中，虽然比人类的能力较低，但在各种专业和学术基准中都表现出人级的性能。例如，它通过模拟的律师考试，其得分围绕着考试者的前10％。相比之下，GPT-3.5的得分约为底部的10％。我们花了6个月的时间使用对抗性测试计划和CHATGPT的课程将GPT-4的迭代对准4，从而在事实，可管道性和拒绝外出护栏方面取得了我们最好的结果（尽管远非完美）。

GPT-4比以往任何时候都更具创造力和协作性。它可以在创意和技术写作任务上生成，编辑和迭代，例如创作歌曲，写剧本或学习用户的写作方式。