Última actualización 07-26-2026
Categoría:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Switch Transformers
Los Switch Transformers introducen una arquitectura de Mixture of Experts (Mezcla de Expertos) escasa que dirige cada entrada a un solo experto, reduciendo la carga de comunicación mientras escalan a modelos de lenguaje de billones de parámetros con un costo de cálculo constante. El artículo de los investigadores de Google William Fedus, Barret Zoph y Noam Shazeer simplifica el enrutamiento MoE, mejora la estabilidad del entrenamiento y reporta hasta 7 veces más rápido el preentrenamiento en comparación con los modelos T5 densos usando el mismo presupuesto de cálculo.
El enfoque se basa en la arquitectura T5 y soporta entrenamiento multilingüe en 101 idiomas. Los Switch Transformers también permiten entrenar con precisión bfloat16 para ejecuciones a gran escala más rápidas y estables. Este trabajo está dirigido a investigadores e ingenieros que necesitan escalar modelos NLP sin aumentos proporcionales en el costo del hardware.
Publicado en arXiv como un artículo de investigación, los Switch Transformers documentan métodos para una activación escasa eficiente, en lugar de ser un producto SaaS comercial. El artículo y el PDF están disponibles gratuitamente para descarga y cita.
La activación dispersa dirige cada entrada a un experto para un cómputo constante
La ruta simplificada de MoE reduce la comunicación entre las partes del modelo
Escala a modelos de un billón de parámetros en la arquitectura T5
Soporta entrenamiento multilingüe en 101 idiomas
Permite un preentrenamiento más rápido con precisión bfloat16
Permite la escalabilidad a billones de parámetros sin un aumento proporcional en el cálculo
Simplifica el enrutamiento MoE en comparación con modelos expertos anteriores
Documenta ganancias multilingües en 101 idiomas
Artículo de investigación y PDF disponibles gratuitamente en arXiv
Artículo de investigación en lugar de una aplicación lista para usar
Requiere infraestructura de ML a gran escala para reproducir los resultados
¿Qué problema solucionan los Switch Transformers?
Simplifican el enrutamiento de Mixture of Experts para que modelos de lenguaje muy grandes puedan entrenar con activación dispersa y un costo computacional constante.
¿Quiénes son los autores del artículo sobre Switch Transformers?
William Fedus, Barret Zoph y Noam Shazeer publicaron el trabajo en arXiv en 2021.
¿Es Switch Transformers un producto comercial?
No. Es un artículo de investigación y una arquitectura de modelo publicados en arXiv, no una herramienta SaaS alojada.
¿Sobre qué arquitectura se basa Switch Transformer?
El artículo extiende la arquitectura T5 con un diseño simplificado de enrutamiento experto disperso.
¿Cuánto más rápido es el preentrenamiento comparado con T5 denso?
El artículo reporta que el preentrenamiento es hasta 7 veces más rápido con el mismo presupuesto computacional en comparación con modelos densos.