UL2 对比 ChatGPT Plugins

题为“UL2：统一语言学习范式”的研究论文专注于为预训练语言模型创建一个全面的框架，该框架在各种数据集和设置中表现出色，应对现有预训练模型通常专门针对特定类型问题的挑战。作者 Yi Tay 和团队将架构原型与预训练目标分开，在 NLP 中呈现更广泛的自我监督视角。引入了一种名为 Mixture-of-Denoisers (MoD) 的新型预训练目标，混合了不同的预训练方法。此外，本文还探讨了模式切换，将下游微调与明确的预训练方法联系起来。

通过严格的实验，作者证明他们的方法，特别是当扩展到 20B 参数时，在 50 个已知的 NLP 任务上获得了最先进的 (SOTA) 荣誉，并展示了令人印象深刻的上下文学习能力，超越了 GPT 等模型3 和 T5 在各种基准测试中。该团队公开发布了针对其 UL2 20B 和 Flan-UL2 20B 模型的基于 Flax 的 T5X 检查点，为 NLP 研究和应用做出了重大贡献。

Openai遵循迭代的部署理念，作为这种方法的一部分，它正在逐渐发布Chatgpt插件。此逐步发布的目的是研究插件的实际使用，评估其影响，并确定可能出现的任何安全性和一致性挑战。正确实现这些方面的正确性是至关重要的。

自CHATGPT推出以来，用户表示有兴趣访问插件，许多开发人员正在尝试类似的想法。 OpenAI最初是将插件推向一小部分用户，并计划在学习更多信息时逐渐增加访问权限。经过Alpha期之后，想要将插件集成到其产品中的API用户也将可以访问。 Openai很高兴建立一个将有助于塑造人类互动范式的未来的社区。

邀请候补名单的开发人员可以使用OpenAI的文档来构建用于Chatgpt的插件。创建插件后，它将在语言模型显示的提示符中列出，以及指示如何使用每个模型的文档。第一组插件是由Expedia，Fiscalnote，Instacart，Kayak，Klarna，Milo，Opentable，Opentable，Shopify，Slack，Speak，Wolfram和Zapier创建的。