ALBERT 对比 ChatGPT Plugins

ALBERT 是“A Lite BERT”的缩写，是广泛用于自然语言处理任务的 BERT 模型的优化版本。 Zenzhong Lan 及其同事在 arXiv 论文中提出，ALBERT 提供了两种参数减少技术，可以显着降低内存消耗并提高 BERT 的训练速度，而不会牺牲性能。

这一进步解决了 GPU/TPU 内存限制以及与模型大小增加相关的通常较长的训练时间的挑战。论文通过实证证据证明，ALBERT 不仅在 GLUE、RACE 和 SQuAD 等各种基准上比 BERT 表现更好，而且还以更少的参数数量实现了最先进的结果。该研究进一步引入了自监督损失函数，增强了模型理解句子间连贯性的能力，从而显着改善了需要多句子输入的任务。作者为 ALBERT 提供了代码和预训练模型，使它们可以在 NLP 社区中广泛使用。

Openai遵循迭代的部署理念，作为这种方法的一部分，它正在逐渐发布Chatgpt插件。此逐步发布的目的是研究插件的实际使用，评估其影响，并确定可能出现的任何安全性和一致性挑战。正确实现这些方面的正确性是至关重要的。

自CHATGPT推出以来，用户表示有兴趣访问插件，许多开发人员正在尝试类似的想法。 OpenAI最初是将插件推向一小部分用户，并计划在学习更多信息时逐渐增加访问权限。经过Alpha期之后，想要将插件集成到其产品中的API用户也将可以访问。 Openai很高兴建立一个将有助于塑造人类互动范式的未来的社区。

邀请候补名单的开发人员可以使用OpenAI的文档来构建用于Chatgpt的插件。创建插件后，它将在语言模型显示的提示符中列出，以及指示如何使用每个模型的文档。第一组插件是由Expedia，Fiscalnote，Instacart，Kayak，Klarna，Milo，Opentable，Opentable，Shopify，Slack，Speak，Wolfram和Zapier创建的。