Codestral Mamba - Mistral AI

Codestral Mamba - Mistral AI

Codestral Mamba est un modèle de code à poids ouverts de Mistral AI, construit sur l'architecture Mamba plutôt que sur un Transformer standard. Sorti en juillet 2024, il vise la productivité en codage grâce à une inférence en temps linéaire et de bonnes performances sur de longs contextes.

Le modèle instructé de 7,3 milliards de paramètres supporte la récupération en contexte, testé jusqu'à 256k tokens, ce qui le rend adapté aux assistants de codage locaux et aux interactions avec de longues bases de code. Les poids sont publiés sur Hugging Face sous licence Apache 2.0, et vous pouvez le déployer via mistral-inference, TensorRT-LLM, ou le tester via Mistral la Plateforme sous le nom de codestral-mamba-2407.

La modélisation de séquences de Mamba diffère de celle des Transformers en faisant évoluer le temps d'inférence linéairement avec la longueur de l'entrée, ce que Mistral considère comme un avantage pour des réponses rapides sur de grands prompts lors des workflows de développement.

Fonctionnalités principales:
  1. L'architecture Mamba offre une inférence en temps linéaire pour les longs prompts de code

  2. 7,3 milliards de paramètres instruits optimisés pour les tâches de code et de raisonnement

  3. Récupération en contexte testée jusqu'à 256k tokens pour de grandes bases de code

  4. Poids ouverts Apache 2.0 libres d'utilisation, de modification et de redistribution

  5. Déploiement local via le SDK mistral-inference, TensorRT-LLM ou prise en charge de llama.cpp

  6. Disponible sur Mistral la Plateforme sous le nom codestral-mamba-2407 pour les tests API

  7. Conçu comme un assistant de code local avec des réponses rapides à toute longueur d'entrée

  8. Développé avec la contribution des chercheurs de l'architecture Mamba Albert Gu et Tri Dao

Pros:
  1. Les poids Open Apache 2.0 permettent l'auto-hébergement sans frais de licence commerciale.

  2. L'inférence linéaire de Mamba s'adapte mieux aux contextes de code très longs que de nombreux Transformers.

  3. Soutenu par Mistral AI avec distribution Hugging Face et multiples voies de déploiement.

Cons:
  1. La page d'annonce est un article de blog, pas un tableau de bord produit dédié.

  2. La plus petite taille 7,3B peut être moins performante que les plus grands modèles frontier sur les benchmarks de raisonnement complexe.

FAQ:

Qu'est-ce que Codestral Mamba ?

Codestral Mamba est le modèle de code open-weight de Mistral AI basé sur l'architecture Mamba. Il possède 7,3 milliards de paramètres et est optimisé pour la génération de code et le raisonnement avec de longues fenêtres contextuelles.

Codestral Mamba est-il gratuit ?

Oui. Les poids du modèle sont publiés sous licence Apache 2.0 pour une utilisation, modification et distribution gratuites. L'accès à l'API sur la Plateforme suit la tarification de la plateforme Mistral.

Comment exécuter Codestral Mamba localement ?

Téléchargez les poids depuis Hugging Face et déployez-les en utilisant le SDK mistral-inference (basé sur l'implémentation de référence Mamba), TensorRT-LLM, ou des exécutables locaux supportés comme llama.cpp.

Quelle longueur de contexte Codestral Mamba supporte-t-il ?

Mistral a testé les capacités de recherche dans le contexte jusqu'à 256k tokens, positionnant le modèle pour des fichiers de code longs et des sessions d'assistant étendues.

En quoi Codestral Mamba est-il différent de Codestral 22B ?

Codestral Mamba utilise l'architecture Mamba avec des poids open source sous licence Apache 2.0. Codestral 22B est un modèle basé sur Transformer plus grand, disponible sous les licences commerciale ou communautaire de Mistral.

Tarification:

Gratuit

Tags:

Code Generation
Open Source
Mamba Architecture
Apache 2.0 License
Linear Time Inference
Large Language Model
La Plateforme
In-Context Retrieval
Local Inference

Technologie utilisée:

Netlify
Google Tag Manager
Font Awesome
Discord
GitHub
Tailwind CSS

Commentaires:

Give your opinion on Codestral Mamba - Mistral AI :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Meilleur Gratuit Codestral Mamba - Mistral AI Alternatives (et Payées)

By Rishit