DeepSeek Coder

DeepSeek Coder

DeepSeek Coder est une famille de modèles de langage pour le code en open-source développée par DeepSeek. La série comprend des variantes de base et instructives allant de 1 milliard à 33 milliards de paramètres, chacune entraînée à partir de zéro sur 2 trillions de tokens, dont 87 % de code et 13 % de langage naturel en anglais et en chinois. Les poids sont publiés sur Hugging Face, et vous pouvez tester les modèles via chat.deepseek.com ou les exécuter localement avec les exemples du dépôt GitHub.

Les modèles ciblent le travail au niveau du projet, pas seulement des extraits de code en ligne. La formation utilise une fenêtre de 16K tokens et une tâche de remplissage pour permettre au modèle de compléter ou d’insérer du code dans plusieurs fichiers d’un référentiel. Les résultats de benchmark publiés dans le dépôt montrent que DeepSeek-Coder-Base-33B devance CodeLlama-34B sur HumanEval Python, HumanEval Multilingual, MBPP et DS-1000. Le modèle instruct-tuned de 33 milliards est rapporté surpasser GPT-3.5-turbo sur HumanEval et l'égaler sur MBPP.

Le dépôt inclut des tutoriels d’inférence, une démo locale avec Gradio, des scripts de fine-tuning avec DeepSpeed, et un code d’évaluation reproductible. Les langues supportées couvrent Python, JavaScript, Go, Rust, TypeScript, et bien d’autres. Le code du dépôt est sous licence MIT, et la licence du modèle permet une utilisation commerciale.

Les développeurs de logiciels et les ingénieurs ML utilisent DeepSeek Coder pour la complétion dans l’éditeur, l’infillmulti-fichier, les assistants de chat de codage, et la fine-tuning sur des jeux de données d'instructions personnalisées.

Fonctionnalités principales:
  1. Quatre tailles de modèles de 1B à 33B, chacune en variantes base et instruct

  2. Fenêtre de contexte 16K conçue pour l'auto-complétion multi-fichiers au niveau du dépôt

  3. Le pré-entraînement avec remplissage de blancs permet d'insérer du code entre des blocs existants

  4. Couvre plus de 80 langages dont Python, JavaScript, Go, Rust et Solidity

  5. Scripts de fine-tuning avec DeepSpeed plus des exemples d'inférence vLLM dans le dépôt

Pros:
  1. Poids du modèle ouverts et code du dépôt sous licence MIT autorisant une utilisation commerciale.

  2. Les benchmarks publiés le placent devant d'autres modèles de code open-source dans plusieurs tests.

  3. Plusieurs tailles de paramètres permettent aux équipes de choisir entre vitesse d'inférence et capacité.

Cons:
  1. Les modèles 33B plus volumineux nécessitent une mémoire GPU substantielle pour l'inférence locale.

  2. La documentation est centrée sur le README GitHub plutôt que sur un site de documentation autonome.

  3. Les modèles Instruct nécessitent des modifications du eos_token_id pour un comportement optimal de complétion de code.

FAQ:

Qu'est-ce que DeepSeek Coder ?

DeepSeek Coder est une série de modèles de langage de code open-source de DeepSeek. Ces modèles gèrent les tâches de complétion de code, d'insertion, de génération au niveau des dépôts et d'exécution d'instructions de codage dans de nombreux langages de programmation.

Quelles tailles de modèles propose DeepSeek Coder ?

DeepSeek Coder est disponible en tailles 1B, 5,7B, 6,7B et 33B paramètres. Chaque taille comprend un modèle de base pour la complétion et un modèle instruct ajusté pour les requêtes de codage de type chat.

DeepSeek Coder est-il gratuit à utiliser ?

Oui. Les poids des modèles DeepSeek Coder sont disponibles sur Hugging Face, le code du dépôt est sous licence MIT, et le projet indique que l'utilisation commerciale est autorisée sous la licence du modèle.

Comment exécuter DeepSeek Coder localement ?

DeepSeek Coder fournit des exemples Python dans son README GitHub utilisant Hugging Face Transformers et PyTorch. Vous pouvez également lancer une démo locale Gradio depuis le dossier demo ou utiliser vLLM pour une inférence à plus haut débit.

Sur quels benchmarks DeepSeek Coder obtient-il de bons résultats ?

DeepSeek Coder affiche de bons scores pass@1 sur HumanEval, MultiPL-E, MBPP, DS-1000 et APPS. Le README inclut des tableaux d'évaluation détaillés ainsi que des scripts dans le répertoire Evaluation.

Puis-je affiner (fine-tune) DeepSeek Coder avec mes propres données ?

Oui. DeepSeek Coder inclut un script finetune_deepseekcoder.py avec support DeepSpeed. Les données d'entraînement doivent suivre le format JSONL avec instructions et sorties décrit dans le README de fine-tune.

Tarification:

Gratuit

Tags:

Code Language Models
Open Source LLM
Code Completion
Programming Languages
Code Infilling
Hugging Face Models

Technologie utilisée:

Chakra UI
Ant Design
Amazon Web Services
GraphQL
Python
Ruby
Discord
GitHub
Emotion
Tailwind CSS
Hugging Face

Commentaires:

Give your opinion on DeepSeek Coder :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Meilleur Gratuit DeepSeek Coder Alternatives (et Payées)

By Rishit