PaLM-E 对比 ChatGPT Plugins

PaLM-E 项目引入了一种创新的体现多模态语言模型，它将现实世界的传感器数据与高级机器人任务的语言模型相集成。 PaLM-E 是“基于投影的语言模型体现”的缩写，它将文本输入与连续的感官信息（例如视觉和状态估计数据）融合在一起，以在物理世界中创建全面的理解和交互。

PaLM-E 旨在帮助完成机器人操作规划、视觉问答和字幕等任务，展示了针对跨领域的各种任务进行训练的大型多模态语言模型的潜力。该模型拥有最大的迭代 PaLM-E-562B，拥有 5620 亿个参数，不仅在机器人任务中表现出色，而且在 OK-VQA 等视觉语言任务中实现了最先进的性能，同时保持了稳健的通用语言技能。

Openai遵循迭代的部署理念，作为这种方法的一部分，它正在逐渐发布Chatgpt插件。此逐步发布的目的是研究插件的实际使用，评估其影响，并确定可能出现的任何安全性和一致性挑战。正确实现这些方面的正确性是至关重要的。

自CHATGPT推出以来，用户表示有兴趣访问插件，许多开发人员正在尝试类似的想法。 OpenAI最初是将插件推向一小部分用户，并计划在学习更多信息时逐渐增加访问权限。经过Alpha期之后，想要将插件集成到其产品中的API用户也将可以访问。 Openai很高兴建立一个将有助于塑造人类互动范式的未来的社区。

邀请候补名单的开发人员可以使用OpenAI的文档来构建用于Chatgpt的插件。创建插件后，它将在语言模型显示的提示符中列出，以及指示如何使用每个模型的文档。第一组插件是由Expedia，Fiscalnote，Instacart，Kayak，Klarna，Milo，Opentable，Opentable，Shopify，Slack，Speak，Wolfram和Zapier创建的。