Switch Transformers vs Stellaris AI

Los Switch Transformers introducen una arquitectura de Mixture of Experts (Mezcla de Expertos) escasa que dirige cada entrada a un solo experto, reduciendo la carga de comunicación mientras escalan a modelos de lenguaje de billones de parámetros con un costo de cálculo constante. El artículo de los investigadores de Google William Fedus, Barret Zoph y Noam Shazeer simplifica el enrutamiento MoE, mejora la estabilidad del entrenamiento y reporta hasta 7 veces más rápido el preentrenamiento en comparación con los modelos T5 densos usando el mismo presupuesto de cálculo.

El enfoque se basa en la arquitectura T5 y soporta entrenamiento multilingüe en 101 idiomas. Los Switch Transformers también permiten entrenar con precisión bfloat16 para ejecuciones a gran escala más rápidas y estables. Este trabajo está dirigido a investigadores e ingenieros que necesitan escalar modelos NLP sin aumentos proporcionales en el costo del hardware.

Publicado en arXiv como un artículo de investigación, los Switch Transformers documentan métodos para una activación escasa eficiente, en lugar de ser un producto SaaS comercial. El artículo y el PDF están disponibles gratuitamente para descarga y cita.

Stellaris AI desarrolla grandes modelos de lenguaje comercializados en torno a la seguridad nativa y el razonamiento similar al humano para tareas del mundo real. Su línea principal SGPT se enfoca en la generación de texto y código, preguntas y respuestas de conocimiento, razonamiento lógico y análisis a una escala que la empresa describe como cientos de miles de millones de parámetros. El sitio público se centra en una lista de espera para SGPT-4.5 en lugar de un producto de chat de autoservicio que puedas usar hoy.

Mientras que muchos laboratorios de LLM añaden filtros de seguridad después del entrenamiento, Stellaris AI considera la seguridad como parte de la pila del modelo mediante una estricta referencia a las fuentes y la minimización de daños en la arquitectura. También destaca el Aprendizaje de Contexto en Tiempo Real (RCL) para adaptar las respuestas con conocimiento en vivo, una combinación dirigida a equipos que desean salidas citadas en lugar de generación sin control.

Investigadores, equipos de IA empresarial y primeros usuarios se unen a la lista de espera de SGPT-4.5 para obtener acceso prioritario. La empresa menciona más de 10 años de investigación y tres pilares principales de producto: Stellaris GPT, Seguridad Nativa y RCL.