GLM-130B vs GPT-4

GLM-130B, presentado en ICLR 2023, representa un innovador modelo bilingüe abierto preentrenado que destaca por sus impresionantes 130 mil millones de parámetros. Desarrollado para modelado denso bidireccional tanto en inglés como en chino, el GLM-130B aprovecha el algoritmo del Modelo de lenguaje general (GLM) para el entrenamiento previo y está optimizado para ejecutar tareas de inferencia en una configuración de servidor único, ya sea el A100 (40G * 8). o el V100 (32G * 8). Además, su compatibilidad con la cuantificación INT4 significa que los ya modestos requisitos de hardware se pueden reducir aún más, permitiendo que un servidor con 4* RTX 3090 (24G) admita el modelo con una mínima degradación del rendimiento.

Como parte de su proceso de entrenamiento, el GLM-130B ha digerido un extenso conjunto de datos que consta de más de 400 mil millones de tokens de texto, divididos equitativamente entre chino e inglés. Cuenta con soporte bilingüe excepcional, rendimiento superior en varios conjuntos de datos en comparación con sus contrapartes y ofrece tiempos de inferencia rápidos. Además, este repositorio también promueve la reproducibilidad al facilitar código fuente abierto y puntos de control de modelos para más de 30 tareas.

GPT-4 es el último hito en el esfuerzo de Operai para ampliar el aprendizaje profundo.

GPT-4 es un modelo multimodal grande (que acepta entradas de imagen y texto, emitiendo salidas de texto) que, aunque es menos capaz que los humanos en muchos escenarios del mundo real, exhibe un rendimiento a nivel humano en varios puntos de referencia profesionales y académicos. Por ejemplo, pasa un examen de barra simulado con una puntuación alrededor del 10% superior de los examinados; En contraste, el puntaje de GPT-3.5 fue alrededor del 10%inferior. Hemos pasado 6 meses alineando iterativamente GPT-4 utilizando lecciones de nuestro programa de pruebas adversas, así como ChatGPT, lo que resulta en nuestros mejores resultados (aunque lejos de ser perfectos) sobre la fáctica, la dominabilidad y la negativa a salir de las barandillas.

GPT-4 es más creativo y colaborativo que nunca. Puede generar, editar e iterar con los usuarios en tareas de escritura creativa y técnica, como componer canciones, escribir guiones o aprender el estilo de escritura de un usuario.