ALBERT vs ChatGPT Plugins

ALBERT, abreviação de "A Lite BERT", é uma versão otimizada do modelo BERT amplamente utilizado para tarefas de processamento de linguagem natural. Apresentado no artigo arXiv de Zhenzhong Lan e colegas, ALBERT oferece duas técnicas de redução de parâmetros que diminuem significativamente o consumo de memória e aumentam a velocidade de treinamento do BERT sem sacrificar o desempenho.

Esse avanço aborda o desafio das limitações de memória GPU/TPU e dos tempos de treinamento normalmente longos associados ao aumento do tamanho dos modelos. O artigo demonstra, por meio de evidências empíricas, que o ALBERT não apenas tem um desempenho melhor que o BERT em uma variedade de benchmarks, como GLUE, RACE e SQuAD, mas também alcança resultados de última geração com uma contagem menor de parâmetros. A pesquisa introduz ainda uma função de perda auto-supervisionada que aumenta a capacidade do modelo de compreender a coerência entre frases, levando a uma melhoria substancial em tarefas que exigem entradas de várias frases. Os autores fornecem o código e os modelos pré-treinados para ALBERT, tornando-os acessíveis para uso generalizado na comunidade de PNL.

O Openai segue uma filosofia de implantação iterativa e, como parte dessa abordagem, está gradualmente lançando plugins para chatgpt. O objetivo desta liberação gradual é estudar o uso do mundo real dos plugins, avaliar seu impacto e identificar quaisquer desafios de segurança e alinhamento que possam surgir. Acreditar esses aspectos é essencial para o OpenAI alcançar sua missão.

Desde o lançamento do ChatGPT, os usuários manifestaram interesse em ter acesso a plugins, e muitos desenvolvedores estão experimentando idéias semelhantes. O OpenAI está lançando inicialmente os plugins para um pequeno conjunto de usuários e planeja aumentar gradualmente o acesso à medida que aprende mais. Após um período alfa, os usuários da API que desejam integrar plugins em seus produtos também terão acesso. O Openai está animado para construir uma comunidade que ajudará a moldar o futuro do paradigma de interação humano-AI.

Os desenvolvedores que foram convidados para fora da lista de espera podem usar a documentação do OpenAI para criar um plug -in para o ChatGPT. Depois que o plug -in é criado, ele está listado no prompt mostrado ao modelo de idioma, juntamente com a documentação que instrui o modelo sobre como usar cada um. O primeiro conjunto de plugins foi criado pela Expedia, Fiscalnote, Instacart, Kayak, Klarna, Milo, Openable, Shopify, Slack, Speak, Wolfram e Zapier.