Codestral Mamba - Mistral AI

Codestral Mamba - Mistral AI

Codestral Mamba é o modelo de código de peso aberto da Mistral AI, construído sobre a arquitetura Mamba em vez de um Transformer padrão. Lançado em julho de 2024, ele tem como foco a produtividade em código com inferência de tempo linear e desempenho robusto em contextos longos.

O modelo instruído de 7,3 bilhões de parâmetros suporta recuperação em contexto testada até 256 mil tokens, tornando-o adequado para assistentes de codificação locais e interações com grandes bases de código. Os pesos estão publicados no Hugging Face sob a licença Apache 2.0, e você pode implantá-lo via mistral-inference, TensorRT-LLM, ou testar através da Mistral la Plateforme como codestral-mamba-2407.

A modelagem de sequência do Mamba difere dos Transformers ao escalar o tempo de inferência linearmente com o comprimento da entrada, o que a Mistral posiciona como uma vantagem para respostas rápidas em prompts grandes durante fluxos de trabalho de desenvolvimento.

Recursos Principais:
  1. A arquitetura Mamba oferece inferência em tempo linear para prompts longos de código

  2. 7.3B parâmetros instruídos ajustados para tarefas de código e raciocínio

  3. Testado com recuperação em contexto para até 256k tokens em grandes bases de código

  4. Pesos abertos Apache 2.0 livres para uso, modificação e redistribuição

  5. Implantação local via mistral-inference SDK, TensorRT-LLM ou suporte llama.cpp

  6. Disponível na Mistral la Plateforme como codestral-mamba-2407 para testes de API

  7. Projetado como um assistente de código local com respostas rápidas a qualquer comprimento de entrada

  8. Desenvolvido com contribuições dos pesquisadores da arquitetura Mamba Albert Gu e Tri Dao

Pros:
  1. Pesos Open Apache 2.0 permitem auto-hospedagem sem taxas de licença comercial.

  2. A inferência linear Mamba escala melhor em contextos de código muito longos do que muitos Transformers.

  3. Suportado pela Mistral AI com distribuição pela Hugging Face e múltiplas opções de implantação.

Cons:
  1. A página de anúncio é uma postagem de blog, não um painel de produto dedicado.

  2. O tamanho menor de 7.3B pode ficar atrás dos maiores modelos frontier em benchmarks de raciocínio complexo.

Perguntas frequentes:

O que é o Codestral Mamba?

Codestral Mamba é o modelo de código open-weight da Mistral AI baseado na arquitetura Mamba. Possui 7,3 bilhões de parâmetros e é otimizado para geração de código e raciocínio com janelas de contexto longas.

O Codestral Mamba é gratuito?

Sim. Os pesos do modelo são liberados sob a licença Apache 2.0 para uso, modificação e distribuição gratuitos. O acesso à API na la Plateforme segue a política de preços da plataforma da Mistral.

Como executar o Codestral Mamba localmente?

Faça o download dos pesos no Hugging Face e implemente usando o SDK mistral-inference (baseado na implementação de referência Mamba), TensorRT-LLM ou executores locais compatíveis, como llama.cpp.

Qual o comprimento de contexto suportado pelo Codestral Mamba?

A Mistral testou capacidades de recuperação in-context de até 256 mil tokens, posicionando o modelo para arquivos de código longos e sessões estendidas com assistentes.

Como o Codestral Mamba é diferente do Codestral 22B?

O Codestral Mamba usa a arquitetura Mamba com pesos open-weight sob licença Apache 2.0. O Codestral 22B é um modelo maior baseado em Transformer disponível sob licenças comerciais ou comunitárias da Mistral.

Preços:

Gratuito

Tags:

Code Generation
Open Source
Mamba Architecture
Apache 2.0 License
Linear Time Inference
Large Language Model
La Plateforme
In-Context Retrieval
Local Inference

Tecnologia utilizada:

Netlify
Google Tag Manager
Font Awesome
Discord
GitHub
Tailwind CSS

Avaliações:

Give your opinion on Codestral Mamba - Mistral AI :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Melhor Gratuito Codestral Mamba - Mistral AI Alternativas (e Pagas)

By Rishit