Chinchilla vs GPT-4

Chinchilla es un modelo avanzado de inteligencia artificial con 70 mil millones de parámetros, desarrollado para optimizar tanto el tamaño del modelo como el volumen de datos de entrenamiento para un aprendizaje eficiente. Fue entrenado utilizando la extraordinaria cantidad de 1,4 billones de tokens, con énfasis en escalar el modelo y los datos proporcionalmente. Este método de entrenamiento se basa en investigaciones que sugieren que el entrenamiento óptimo ocurre cuando el tamaño del modelo y los tokens de entrenamiento aumentan en conjunto. Chinchilla comparte su presupuesto de computación con otro modelo llamado Gopher, pero se distingue por aprovechar cuatro veces más datos de entrenamiento. A pesar de esta diferencia, ambos modelos están diseñados para funcionar con la misma cantidad de FLOP, lo que garantiza una utilización eficiente de los recursos informáticos. Chinchilla aprovecha MassiveText, un vasto conjunto de datos, y emplea una adaptación del tokenizador SentencePieza para interpretar y procesar datos. Para una comprensión detallada de su arquitectura y formación, se puede consultar el artículo que detalla estos aspectos.

GPT-4 es el último hito en el esfuerzo de Operai para ampliar el aprendizaje profundo.

GPT-4 es un modelo multimodal grande (que acepta entradas de imagen y texto, emitiendo salidas de texto) que, aunque es menos capaz que los humanos en muchos escenarios del mundo real, exhibe un rendimiento a nivel humano en varios puntos de referencia profesionales y académicos. Por ejemplo, pasa un examen de barra simulado con una puntuación alrededor del 10% superior de los examinados; En contraste, el puntaje de GPT-3.5 fue alrededor del 10%inferior. Hemos pasado 6 meses alineando iterativamente GPT-4 utilizando lecciones de nuestro programa de pruebas adversas, así como ChatGPT, lo que resulta en nuestros mejores resultados (aunque lejos de ser perfectos) sobre la fáctica, la dominabilidad y la negativa a salir de las barandillas.

GPT-4 es más creativo y colaborativo que nunca. Puede generar, editar e iterar con los usuarios en tareas de escritura creativa y técnica, como componer canciones, escribir guiones o aprender el estilo de escritura de un usuario.