ELECTRA vs ChatGPT Plugins

ELECTRA para TensorFlow2, disponible en NVIDIA NGC, representa un gran avance en la representación del lenguaje previo al entrenamiento para tareas de procesamiento del lenguaje natural (NLP). Al aprender de manera eficiente un codificador que clasifica los reemplazos de tokens con precisión, ELECTRA supera los métodos existentes dentro del mismo presupuesto computacional en varias aplicaciones de PNL. Desarrollado sobre la base de un artículo de investigación, este modelo se beneficia significativamente de las optimizaciones proporcionadas por NVIDIA, como la aritmética de precisión mixta y el uso de Tensor Core en las arquitecturas de GPU Volta, Turing y NVIDIA Ampere. No sólo logra tiempos de entrenamiento más rápidos sino que también garantiza una precisión de última generación.

Al comprender la arquitectura, ELECTRA se diferencia de los modelos convencionales como BERT al introducir un marco generador-discriminador que identifica los reemplazos de tokens de manera más eficiente, un enfoque inspirado en las redes generativas adversarias (GAN). Esta implementación es fácil de usar y ofrece scripts para descarga de datos, preprocesamiento, capacitación, evaluación comparativa e inferencia, lo que facilita a los investigadores trabajar con conjuntos de datos personalizados y ajustar tareas que incluyen la respuesta a preguntas.

Operai sigue una filosofía de implementación iterativa, y como parte de este enfoque, está lanzando gradualmente complementos para ChatGPT. El propósito de esta versión gradual es estudiar el uso del mundo real de los complementos, evaluar su impacto e identificar cualquier desafío de seguridad y alineación que pueda surgir. Obtener estos aspectos correctos es esencial para que Operai alcance su misión.

Desde el lanzamiento de ChatGPT, los usuarios han expresado interés en tener acceso a complementos, y muchos desarrolladores están experimentando con ideas similares. Inicialmente, Operai está implementando complementos a un pequeño conjunto de usuarios y planea aumentar gradualmente el acceso a medida que aprende más. Después de un período alfa, los usuarios de API que desean integrar complementos en sus productos también tendrán acceso. Operai está entusiasmado de construir una comunidad que ayude a dar forma al futuro del paradigma de interacción Human-AI.

Los desarrolladores que han sido invitados fuera de la lista de espera pueden usar la documentación de OpenAI para crear un complemento para ChatGPT. Una vez que se crea el complemento, se enumera en el mensaje que se muestra al modelo de idioma, junto con la documentación que instruye al modelo sobre cómo usar cada uno. El primer conjunto de complementos ha sido creado por Expedia, Fiscalnote, Instacart, Kayak, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram y Zapier.