Claude 3 \ Anthropic vs UniLM

Claude 3 es la tercera generación de modelos de lenguaje grande de Anthropic, lanzada en marzo de 2024. Incluye tres niveles: Haiku para velocidad y costo, Sonnet para rendimiento equilibrado y Opus para la mayor profundidad de razonamiento. Cada modelo apunta a un compromiso diferente entre inteligencia, latencia y precio.

La familia maneja tareas de texto, código, análisis y visión. Los modelos Claude 3 procesan fotos, gráficos, diagramas técnicos y gráficos. Soportan una ventana de contexto de 200,000 tokens en su lanzamiento, con entradas que superan el millón de tokens disponibles para clientes seleccionados. Opus y Sonnet se lanzaron en claude.ai y en la API de Claude en 159 países, seguido poco después por Haiku.

Anthropic construyó Claude 3 con métodos de seguridad de IA Constitucional y barreras de la Política de Escalado Responsable. Los modelos están disponibles a través de la API de Claude, Amazon Bedrock y Google Cloud Vertex AI. Sonnet impulsa la capa gratuita en claude.ai, mientras que Opus está disponible para suscriptores de Claude Pro.

UniLM es un modelo de lenguaje preentrenado de Microsoft Research que maneja tanto la comprensión del lenguaje natural como la generación de texto a partir de un Transformer compartido. Afinas un único punto de control para tareas de lectura, como respuestas a preguntas, y tareas de escritura, como resumir o diálogos, sin necesidad de mantener modelos separados solo de codificador y solo de decodificador. El código y los pesos preentrenados se distribuyen a través del repositorio de GitHub microsoft/unilm bajo una licencia MIT.

Los modelos estilo BERT destacan en lectura, pero necesitan una pila de decodificador separada para la generación. UniLM entrena un Transformer con tres modos de máscara de atención: unidireccional, bidireccional y secuencia a secuencia. Ese diseño permitió que los mismos pesos compitieran con BERT en GLUE y SQuAD, al mismo tiempo que establecían puntos de referencia para resumen y generación de preguntas en 2019, una división que la mayoría de sus contemporáneos consideraban como dos problemas.

Los investigadores en ML y los ingenieros de NLP usan UniLM cuando desean acceder a puntos de referencia publicados, scripts de entrenamiento y archivos de puntos de control para comprensión y generación en una sola base de código. El repositorio ahora abarca lanzamientos posteriores como UniLMv2 (Modelo de Lenguaje de Máscara Pseudo-Máscara, ICML 2020), pero la versión v1 sigue siendo la referencia para el enfoque de enmascaramiento unificado original descrito en el artículo de NeurIPS 2019.