Mixtral of experts - Mistral AI

Mixtral of experts - Mistral AI

Mixtral 8x7B es un modelo de lenguaje grande de peso abierto de Mistral AI, lanzado como un decodificador de mezcla de expertos dispersos con licencia Apache 2.0. Puedes descargar los pesos para inferencia autoalojada, afinarlos con tus datos o llamar al modelo a través de la API alojada de Mistral. Está orientado a la generación general de texto, escritura de código y seguimiento de instrucciones.

La mayoría de los modelos abiertos en este nivel de rendimiento utilizan arquitecturas densas donde cada parámetro se activa en cada token. Mixtral enruta cada token a través de solo dos de ocho capas expertas feedforward en cada bloque del decodificador, combinando sus salidas de forma aditiva. Ese enrutamiento disperso ofrece 46.7 mil millones de parámetros totales mientras activa solo 12.9 mil millones por token, lo que Mistral reporta como una inferencia 6 veces más rápida que Llama 2 70B en la mayoría de los benchmarks.

El modelo maneja un contexto de 32k tokens y funciona bien en tareas multilingües en inglés, francés, italiano, alemán y español. La generación de código es una fortaleza documentada, y la variante separada Mixtral 8x7B Instruct alcanza 8.30 en MT-Bench tras afinamiento supervisado y optimización directa de preferencias.

Ingenieros de ML, investigadores y equipos de producto usan Mixtral cuando desean pesos abiertos con una licencia permisiva y rendimiento competitivo frente a modelos cerrados como GPT-3.5. Los autoalojadores pueden desplegarlo mediante vLLM con núcleos Megablocks CUDA o Skypilot en instancias en la nube, mientras que los usuarios de API pagan $0.70 por millón de tokens de entrada y salida en el endpoint open-mixtral-8x7b.

Funciones principales:
  1. Router activa 2 de 8 capas de experto por token, usando 12.9B de 46.7B parámetros totales

  2. Ventana de contexto de 32k tokens para documentos largos y conversaciones de múltiples turnos

  3. Licencia de pesos abiertos Apache 2.0 para investigación y autoalojamiento comercial

  4. Soporta inglés, francés, italiano, alemán y español

  5. Punto final API open-mixtral-8x7b a $0.70 por millón de tokens de entrada y salida

  6. Mixtral 8x7B Instruct obtiene 8.30 en MT-Bench tras ajuste fino DPO

  7. Implementable vía vLLM con núcleos CUDA Megablocks o puntos finales en la nube Skypilot

Pros:
  1. Los pesos abiertos Apache 2.0 permiten autoalojamiento sin dependencia del proveedor.

  2. El enrutamiento disperso activa 12.9B de 46.7B parámetros por token, reduciendo el costo de inferencia frente a modelos densos de 70B.

  3. Ventana de contexto de 32k tokens para documentos largos y sesiones de chat extendidas.

  4. Soporte multilingüe en inglés, francés, italiano, alemán y español.

  5. Rutas de implementación documentadas con vLLM y Skypilot para autoalojamiento en producción.

Cons:
  1. La línea actual de modelos de Mistral ha pasado de Mixtral a versiones más nuevas Small y Medium.

  2. El acceso a la API alojada requiere una cuenta en Mistral Studio y facturación por token.

  3. El autoalojamiento requiere infraestructura GPU con soporte CUDA para una inferencia eficiente.

Preguntas frecuentes:

¿Qué es Mixtral 8x7B?

Mixtral 8x7B es el modelo de lenguaje de mezcla dispersa de expertos con pesos abiertos de Mistral AI, con un total de 46.7 mil millones de parámetros y licencia Apache 2.0. En cada capa, un enrutador selecciona dos de ocho grupos expertos feedforward para procesar cada token, activando 12.9 mil millones de parámetros por token para una inferencia más rápida que los modelos densos de calidad similar.

¿Cuánto cuesta Mixtral 8x7B en la API de Mistral?

En Mistral Studio, Mixtral 8x7B está disponible en el endpoint open-mixtral-8x7b por $0.70 por millón de tokens de entrada y $0.70 por millón de tokens de salida. El procesamiento por lotes recibe un descuento del 50%, y los tokens de entrada en caché reciben un descuento del 90% en los costos de entrada.

¿Se puede alojar Mixtral 8x7B de forma propia?

Sí. Mixtral 8x7B se distribuye con pesos abiertos bajo la licencia Apache 2.0, por lo que puedes descargarlo y ejecutarlo en tu propia infraestructura GPU. Mistral documenta el despliegue a través de vLLM con kernels Megablocks CUDA, y Skypilot soporta el lanzamiento de endpoints vLLM en instancias en la nube.

¿Qué idiomas soporta Mixtral 8x7B?

Mixtral 8x7B maneja inglés, francés, italiano, alemán y español. Las notas de lanzamiento de Mistral describen un fuerte rendimiento multilingüe en benchmarks para los cinco idiomas, lo que lo hace útil para generación de texto y flujos de trabajo de traducción en idiomas europeos.

¿Cómo se compara Mixtral 8x7B con Llama 2 70B?

Mistral informa que Mixtral 8x7B iguala o supera a Llama 2 70B en la mayoría de benchmarks estándar mientras funciona 6 veces más rápido en tiempo de inferencia. La arquitectura dispersa activa solo 12.9 mil millones de sus 46.7 mil millones de parámetros por token, lo que reduce el costo computacional respecto a modelos densos de 70B.

¿Qué licencia usa Mixtral 8x7B?

Mixtral 8x7B se lanza bajo la licencia Apache 2.0 con pesos abiertos disponibles para descarga. Mistral lo describe como el modelo de pesos abiertos más fuerte con una licencia permisiva al momento del lanzamiento, adecuado tanto para investigación como para despliegues comerciales autoalojados.

Tarificación:

Freemium

Etiquetas:

Mixture of Experts
Open Weights
Apache 2.0
Decoder Model
Multilingual
Sparse Model
vLLM
Sparse Mixture-of-Experts

Tecnología utilizada:

Netlify
Google Tag Manager
Font Awesome
Discord
Tailwind CSS

Reseñas:

Give your opinion on Mixtral of experts - Mistral AI :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Mejor Gratis Mixtral of experts - Mistral AI Alternativas (y Pagadas)

By Rishit