GPT4o (Omni) 对比 ChatGPT Plugins

GPT-4o（“o”代表“omni”）代表着人类与计算机之间更自然的交互的重大飞跃。它旨在处理文本、音频、图像和视频的混合输入，并可以输出文本、音频和图像。令人印象深刻的是，GPT-4o 平均只需 232 毫秒即可处理音频输入，几乎与人类对话中的响应时间相匹配。该模型不仅保留了 GPT-4 Turbo 在英语和编码任务中的高性能，而且在处理非英语语言方面也显示出显着的改进，同时通过其 API 速度更快，成本效益提高了 50%。此外，GPT-4o 在理解视觉和音频方面比以前的模型更出色。

模型功能包括：

• 两个 GPT-4os 互动和唱歌
• 面试准备
• 玩石头剪刀布
• 检测讽刺
• 与 Sal 和 Imran Khan 等人物进行数学讨论
• 音乐和谐
• 通过互动学习语言
• 实时会议翻译
• 唱摇篮曲或生日歌
• 用老爸笑话幽默
• 通过 BeMyEyes 等合作伙伴实时协助视障用户

先前的模型（如 GPT-3.5 和 GPT-4）在语音模式下涉及多步骤过程，延迟时间长达 5.4 秒。此过程使用单独的模型将音频转录为文本，处理文本，然后将响应转换回音频。这通常会导致语气、情绪或背景声音等细微信息的丢失。

GPT-4o 通过统一模型简化了这一过程，该模型可以端到端处理文本、视觉和音频，保留输入的丰富性并实现更具表现力的输出。作为我们首次尝试这种集成模型，GPT-4o 为探索多模态交互及其潜在应用开辟了新途径。

Openai遵循迭代的部署理念，作为这种方法的一部分，它正在逐渐发布Chatgpt插件。此逐步发布的目的是研究插件的实际使用，评估其影响，并确定可能出现的任何安全性和一致性挑战。正确实现这些方面的正确性是至关重要的。

自CHATGPT推出以来，用户表示有兴趣访问插件，许多开发人员正在尝试类似的想法。 OpenAI最初是将插件推向一小部分用户，并计划在学习更多信息时逐渐增加访问权限。经过Alpha期之后，想要将插件集成到其产品中的API用户也将可以访问。 Openai很高兴建立一个将有助于塑造人类互动范式的未来的社区。

邀请候补名单的开发人员可以使用OpenAI的文档来构建用于Chatgpt的插件。创建插件后，它将在语言模型显示的提示符中列出，以及指示如何使用每个模型的文档。第一组插件是由Expedia，Fiscalnote，Instacart，Kayak，Klarna，Milo，Opentable，Opentable，Shopify，Slack，Speak，Wolfram和Zapier创建的。