Claude 3 \ Anthropic vs Switch Transformers

Claude 3 é a família de modelos de linguagem de terceira geração da Anthropic, lançada em março de 2024. Ela inclui três diferentes níveis: Haiku, para velocidade e custo; Sonnet, para desempenho equilibrado; e Opus, para a maior profundidade de raciocínio. Cada modelo tem como foco um compromisso diferente entre inteligência, latência e preço.

A família lida com tarefas de texto, código, análise e visão. Os modelos Claude 3 processam fotos, gráficos, diagramas técnicos e tabelas. No lançamento, suportam uma janela de contexto de 200 mil tokens, com entradas que ultrapassam 1 milhão de tokens disponíveis para clientes selecionados. Opus e Sonnet foram lançados na claude.ai e na API Claude em 159 países, seguidos logo após pelo Haiku.

A Anthropic construiu o Claude 3 usando métodos de segurança de IA Constitucional e diretrizes de Responsible Scaling Policy. Os modelos estão disponíveis através da API Claude, Amazon Bedrock e Google Cloud Vertex AI. Sonnet alimenta o nível gratuito em claude.ai, enquanto Opus está disponível para assinantes do Claude Pro.

Transformers Switch introduzem uma arquitetura de Mistura de Especialistas esparsa que direciona cada entrada para um único especialista, reduzindo a sobrecarga de comunicação enquanto escalonam modelos de linguagem com trilhões de parâmetros com custo computacional constante. O artigo dos pesquisadores do Google William Fedus, Barret Zoph e Noam Shazeer simplifica o roteamento MoE, melhora a estabilidade do treinamento e relata até 7 vezes mais rápido em pré-treinamento do que modelos T5 densos no mesmo orçamento de computação.

A abordagem baseia-se na arquitetura T5 e suporta treinamento multilíngue em 101 idiomas. Os Transformers Switch também permitem treinamento com precisão bfloat16 para execuções de grande escala mais rápidas e estáveis. O trabalho é direcionado a pesquisadores e engenheiros que precisam escalar modelos de NLP sem aumentos proporcionais no custo de hardware.

Publicado no arXiv como um artigo de pesquisa, os Transformers Switch documentam métodos para ativação esparsa eficiente, e não um produto SaaS comercial. O artigo e o PDF estão disponíveis para download e citação gratuitamente.