DeepSeek Coder

DeepSeek Coder

DeepSeek Coder é uma família de modelos de linguagem de código open-source da DeepSeek. A série inclui variantes base e instruct, de 1B a 33B parâmetros, treinados do zero com 2 trilhões de tokens, sendo 87% código e 13% linguagem natural em Inglês e Chinês. Os pesos estão disponíveis no Hugging Face, e você pode experimentar os modelos através do chat.deepseek.com ou executá-los localmente com os exemplos no repositório GitHub.

Os modelos são voltados para trabalhos em nível de projeto, não apenas trechos de uma linha. O treinamento utiliza uma janela de 16K tokens e uma tarefa de preencher lacunas, para que o modelo possa completar ou inserir código em múltiplos arquivos de um repositório. Resultados de benchmarks publicados no repositório mostram o DeepSeek-Coder-Base-33B à frente do CodeLlama-34B no HumanEval Python, HumanEval Multilingual, MBPP e DS-1000. O modelo instruct-tuned de 33B é reportado como sendo superior ao GPT-3.5-turbo no HumanEval e igualado a ele no MBPP.

O repositório oferece tutoriais de inferência, uma demonstração local com Gradio, scripts de ajuste fino com DeepSpeed e código de avaliação reproduzível. Os idiomas suportados incluem Python, JavaScript, Go, Rust, TypeScript e muitos outros. O código do repositório possui licença MIT, e a licença do modelo permite uso comercial.

Desenvolvedores de software e engenheiros de ML usam o DeepSeek Coder para complementação dentro do editor, preenchimento de múltiplos arquivos, assistentes de chat para codificação e ajuste fino em conjuntos de dados de instruções personalizadas.

Recursos Principais:
  1. Quatro tamanhos de modelo de 1B a 33B, cada um nas variantes base e instruct

  2. Janela de contexto de 16K construída para completamento multi-arquivo e nível de repositório

  3. Pré-treinamento fill-in-the-blank que suporta inserção de código entre blocos existentes

  4. Abrange mais de 80 linguagens, incluindo Python, JavaScript, Go, Rust e Solidity

  5. Scripts de fine-tuning com DeepSpeed e exemplos de inferência vLLM no repositório

Pros:
  1. Pesos do modelo abertos e código do repositório com licença MIT com uso comercial permitido.

  2. Benchmarks publicados o colocam à frente de outros modelos de código aberto em vários testes.

  3. Múltiplos tamanhos de parâmetros permitem que equipes troquem velocidade de inferência por capacidade.

Cons:
  1. Modelos maiores 33B precisam de memória GPU substancial para inferência local.

  2. A documentação está centrada no README do GitHub em vez de um site de documentação independente.

  3. Modelos Instruct requerem alterações no eos_token_id para um comportamento ideal na conclusão de código.

Perguntas frequentes:

O que é o DeepSeek Coder?

DeepSeek Coder é uma série de modelos de linguagem de código open-source da DeepSeek. Os modelos lidam com tarefas de completamento de código, preenchimento, geração a nível de repositório e codificação seguindo instruções em várias linguagens de programação.

Quais tamanhos de modelo o DeepSeek Coder oferece?

O DeepSeek Coder está disponível nos tamanhos de 1B, 5,7B, 6,7B e 33B de parâmetros. Cada tamanho possui um modelo base para completamento e um modelo instruct ajustado para solicitações de codificação no estilo chat.

O DeepSeek Coder é gratuito para uso?

Sim. Os pesos do modelo DeepSeek Coder estão disponíveis no Hugging Face, o código do repositório é licenciado sob MIT, e o projeto indica que o uso comercial é suportado sob a licença do modelo.

Como faço para executar o DeepSeek Coder localmente?

O DeepSeek Coder oferece exemplos em Python no README do GitHub usando Hugging Face Transformers e PyTorch. Você também pode rodar uma demo local com Gradio na pasta demo ou usar vLLM para inferência de maior desempenho.

Em quais benchmarks o DeepSeek Coder tem bom desempenho?

O DeepSeek Coder apresenta fortes pontuações pass@1 nos benchmarks HumanEval, MultiPL-E, MBPP, DS-1000 e APPS. O README inclui tabelas detalhadas de avaliação e scripts na pasta Evaluation.

Posso fazer fine-tuning do DeepSeek Coder com meus próprios dados?

Sim. O DeepSeek Coder inclui um script finetune_deepseekcoder.py com suporte a DeepSpeed. Os dados de treinamento devem seguir o formato JSONL de instrução e saída descrito no README de fine-tuning.

Preços:

Gratuito

Tags:

Code Language Models
Open Source LLM
Code Completion
Programming Languages
Code Infilling
Hugging Face Models

Tecnologia utilizada:

Chakra UI
Ant Design
Amazon Web Services
GraphQL
Python
Ruby
Discord
GitHub
Emotion
Tailwind CSS
Hugging Face

Avaliações:

Give your opinion on DeepSeek Coder :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Melhor Gratuito DeepSeek Coder Alternativas (e Pagas)

By Rishit