GLaM vs ChatGPT Plugins

El artículo titulado "GLaM: Escalamiento eficiente de modelos lingüísticos con una combinación de expertos" presenta un enfoque novedoso para el desarrollo de modelos lingüísticos que mejora la eficiencia y el rendimiento. Los modelos densos tradicionales como GPT-3 han logrado avances en el procesamiento del lenguaje natural (NLP) mediante la ampliación con grandes conjuntos de datos y una mayor potencia computacional. Sin embargo, esta ampliación tiene un alto coste en términos de recursos.

El modelo GLaM propuesto aborda este problema introduciendo una arquitectura de mezcla de expertos escasamente activada. Esto permite que GLaM tenga una cantidad significativamente mayor de parámetros (1,2 billones, que es aproximadamente 7 veces mayor que la de GPT-3) al tiempo que reduce tanto los requisitos de energía como los cálculos necesarios para el entrenamiento y la inferencia. Sorprendentemente, GLaM también supera a GPT-3 en aprendizaje de una sola vez y cero en 29 tareas de PNL, lo que marca un paso adelante en la búsqueda de modelos de lenguaje más eficientes y potentes.

Operai sigue una filosofía de implementación iterativa, y como parte de este enfoque, está lanzando gradualmente complementos para ChatGPT. El propósito de esta versión gradual es estudiar el uso del mundo real de los complementos, evaluar su impacto e identificar cualquier desafío de seguridad y alineación que pueda surgir. Obtener estos aspectos correctos es esencial para que Operai alcance su misión.

Desde el lanzamiento de ChatGPT, los usuarios han expresado interés en tener acceso a complementos, y muchos desarrolladores están experimentando con ideas similares. Inicialmente, Operai está implementando complementos a un pequeño conjunto de usuarios y planea aumentar gradualmente el acceso a medida que aprende más. Después de un período alfa, los usuarios de API que desean integrar complementos en sus productos también tendrán acceso. Operai está entusiasmado de construir una comunidad que ayude a dar forma al futuro del paradigma de interacción Human-AI.

Los desarrolladores que han sido invitados fuera de la lista de espera pueden usar la documentación de OpenAI para crear un complemento para ChatGPT. Una vez que se crea el complemento, se enumera en el mensaje que se muestra al modelo de idioma, junto con la documentación que instruye al modelo sobre cómo usar cada uno. El primer conjunto de complementos ha sido creado por Expedia, Fiscalnote, Instacart, Kayak, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram y Zapier.