Claude 3 \ Anthropic vs Galactica

Claude 3 es la tercera generación de modelos de lenguaje grande de Anthropic, lanzada en marzo de 2024. Incluye tres niveles: Haiku para velocidad y costo, Sonnet para rendimiento equilibrado y Opus para la mayor profundidad de razonamiento. Cada modelo apunta a un compromiso diferente entre inteligencia, latencia y precio.

La familia maneja tareas de texto, código, análisis y visión. Los modelos Claude 3 procesan fotos, gráficos, diagramas técnicos y gráficos. Soportan una ventana de contexto de 200,000 tokens en su lanzamiento, con entradas que superan el millón de tokens disponibles para clientes seleccionados. Opus y Sonnet se lanzaron en claude.ai y en la API de Claude en 159 países, seguido poco después por Haiku.

Anthropic construyó Claude 3 con métodos de seguridad de IA Constitucional y barreras de la Política de Escalado Responsable. Los modelos están disponibles a través de la API de Claude, Amazon Bedrock y Google Cloud Vertex AI. Sonnet impulsa la capa gratuita en claude.ai, mientras que Opus está disponible para suscriptores de Claude Pro.

Cinco puntos de control de pesos abiertos desde 125M hasta 120B de parámetros ofrecen a los investigadores un modelo de lenguaje entrenado en ciencia construido a partir de 106 mil millones de tokens seleccionados de 48 millones de artículos, libros de texto, enciclopedias y bases de conocimiento. Galactica almacena, combina y razona a través de modalidades que incluyen LaTeX, código Python, fórmulas SMILES y secuencias de aminoácidos dentro de una arquitectura Transformer solo con decodificador. El equipo Papers with Code de Meta liberó los pesos para investigadores que quieran estudiar cómo los modelos de lenguaje organizan el conocimiento científico.

Los LLMs de propósito general se entrenan con rastreos amplios de la web donde las conversaciones sociales pueden dominar el presupuesto de tokens. Galactica usó solo fuentes científicas de acceso abierto seleccionadas, lo que según el artículo permite entrenar durante múltiples épocas sin sobreajuste. Meta retiró la demostración pública en la web tres días después del lanzamiento en noviembre de 2022 cuando críticos mostraron citas y ecuaciones confiadas pero fabricadas, por lo que hoy se descargan los puntos de control desde Hugging Face en lugar de chatear mediante una interfaz alojada.

Los investigadores en aprendizaje automático pueden reproducir números de referencia del artículo en arXiv, incluyendo 77.6% en PubMedQA y 52.9% en MedMCQA dev. Los biólogos computacionales y químicos pueden probar tareas de anotación de proteínas y moléculas mediante los tokens especializados de Galactica para secuencias de aminoácidos y cadenas SMILES. Estudiantes de posgrado que exploran preguntas científicas, predicción de citas o problemas matemáticos pueden experimentar con tamaños de hasta 120 mil millones de parámetros sin entrenar desde cero.