GLaM vs GPT-4

El artículo titulado "GLaM: Escalamiento eficiente de modelos lingüísticos con una combinación de expertos" presenta un enfoque novedoso para el desarrollo de modelos lingüísticos que mejora la eficiencia y el rendimiento. Los modelos densos tradicionales como GPT-3 han logrado avances en el procesamiento del lenguaje natural (NLP) mediante la ampliación con grandes conjuntos de datos y una mayor potencia computacional. Sin embargo, esta ampliación tiene un alto coste en términos de recursos.

El modelo GLaM propuesto aborda este problema introduciendo una arquitectura de mezcla de expertos escasamente activada. Esto permite que GLaM tenga una cantidad significativamente mayor de parámetros (1,2 billones, que es aproximadamente 7 veces mayor que la de GPT-3) al tiempo que reduce tanto los requisitos de energía como los cálculos necesarios para el entrenamiento y la inferencia. Sorprendentemente, GLaM también supera a GPT-3 en aprendizaje de una sola vez y cero en 29 tareas de PNL, lo que marca un paso adelante en la búsqueda de modelos de lenguaje más eficientes y potentes.

GPT-4 es el último hito en el esfuerzo de Operai para ampliar el aprendizaje profundo.

GPT-4 es un modelo multimodal grande (que acepta entradas de imagen y texto, emitiendo salidas de texto) que, aunque es menos capaz que los humanos en muchos escenarios del mundo real, exhibe un rendimiento a nivel humano en varios puntos de referencia profesionales y académicos. Por ejemplo, pasa un examen de barra simulado con una puntuación alrededor del 10% superior de los examinados; En contraste, el puntaje de GPT-3.5 fue alrededor del 10%inferior. Hemos pasado 6 meses alineando iterativamente GPT-4 utilizando lecciones de nuestro programa de pruebas adversas, así como ChatGPT, lo que resulta en nuestros mejores resultados (aunque lejos de ser perfectos) sobre la fáctica, la dominabilidad y la negativa a salir de las barandillas.

GPT-4 es más creativo y colaborativo que nunca. Puede generar, editar e iterar con los usuarios en tareas de escritura creativa y técnica, como componer canciones, escribir guiones o aprender el estilo de escritura de un usuario.