ALBERT vs ChatGPT Plugins

ALBERT, abreviatura de "A Lite BERT", es una versión optimizada del modelo BERT ampliamente utilizado para tareas de procesamiento del lenguaje natural. Presentado en el artículo arXiv por Zhenzhong Lan y sus colegas, ALBERT ofrece dos técnicas de reducción de parámetros que disminuyen significativamente el consumo de memoria y aumentan la velocidad de entrenamiento de BERT sin sacrificar el rendimiento.

Este avance aborda el desafío de las limitaciones de memoria de GPU/TPU y los tiempos de entrenamiento típicamente prolongados asociados con el aumento del tamaño de los modelos. El artículo demuestra a través de evidencia empírica que ALBERT no solo se desempeña mejor que BERT en una variedad de puntos de referencia, como GLUE, RACE y SQuAD, sino que también logra resultados de vanguardia con un menor número de parámetros. La investigación introduce además una función de pérdida autosupervisada que mejora la capacidad del modelo para comprender la coherencia entre oraciones, lo que lleva a una mejora sustancial en las tareas que requieren entradas de varias oraciones. Los autores proporcionan el código y los modelos previamente entrenados para ALBERT, haciéndolos accesibles para un uso generalizado en la comunidad de PNL.

Operai sigue una filosofía de implementación iterativa, y como parte de este enfoque, está lanzando gradualmente complementos para ChatGPT. El propósito de esta versión gradual es estudiar el uso del mundo real de los complementos, evaluar su impacto e identificar cualquier desafío de seguridad y alineación que pueda surgir. Obtener estos aspectos correctos es esencial para que Operai alcance su misión.

Desde el lanzamiento de ChatGPT, los usuarios han expresado interés en tener acceso a complementos, y muchos desarrolladores están experimentando con ideas similares. Inicialmente, Operai está implementando complementos a un pequeño conjunto de usuarios y planea aumentar gradualmente el acceso a medida que aprende más. Después de un período alfa, los usuarios de API que desean integrar complementos en sus productos también tendrán acceso. Operai está entusiasmado de construir una comunidad que ayude a dar forma al futuro del paradigma de interacción Human-AI.

Los desarrolladores que han sido invitados fuera de la lista de espera pueden usar la documentación de OpenAI para crear un complemento para ChatGPT. Una vez que se crea el complemento, se enumera en el mensaje que se muestra al modelo de idioma, junto con la documentación que instruye al modelo sobre cómo usar cada uno. El primer conjunto de complementos ha sido creado por Expedia, Fiscalnote, Instacart, Kayak, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram y Zapier.