DeepSeek Coder
DeepSeek Coder é uma família de modelos de linguagem de código open-source da DeepSeek. A série inclui variantes base e instruct, de 1B a 33B parâmetros, treinados do zero com 2 trilhões de tokens, sendo 87% código e 13% linguagem natural em Inglês e Chinês. Os pesos estão disponíveis no Hugging Face, e você pode experimentar os modelos através do chat.deepseek.com ou executá-los localmente com os exemplos no repositório GitHub.
Os modelos são voltados para trabalhos em nível de projeto, não apenas trechos de uma linha. O treinamento utiliza uma janela de 16K tokens e uma tarefa de preencher lacunas, para que o modelo possa completar ou inserir código em múltiplos arquivos de um repositório. Resultados de benchmarks publicados no repositório mostram o DeepSeek-Coder-Base-33B à frente do CodeLlama-34B no HumanEval Python, HumanEval Multilingual, MBPP e DS-1000. O modelo instruct-tuned de 33B é reportado como sendo superior ao GPT-3.5-turbo no HumanEval e igualado a ele no MBPP.
O repositório oferece tutoriais de inferência, uma demonstração local com Gradio, scripts de ajuste fino com DeepSpeed e código de avaliação reproduzível. Os idiomas suportados incluem Python, JavaScript, Go, Rust, TypeScript e muitos outros. O código do repositório possui licença MIT, e a licença do modelo permite uso comercial.
Desenvolvedores de software e engenheiros de ML usam o DeepSeek Coder para complementação dentro do editor, preenchimento de múltiplos arquivos, assistentes de chat para codificação e ajuste fino em conjuntos de dados de instruções personalizadas.
Quatro tamanhos de modelo de 1B a 33B, cada um nas variantes base e instruct
Janela de contexto de 16K construída para completamento multi-arquivo e nível de repositório
Pré-treinamento fill-in-the-blank que suporta inserção de código entre blocos existentes
Abrange mais de 80 linguagens, incluindo Python, JavaScript, Go, Rust e Solidity
Scripts de fine-tuning com DeepSpeed e exemplos de inferência vLLM no repositório
Pesos do modelo abertos e código do repositório com licença MIT com uso comercial permitido.
Benchmarks publicados o colocam à frente de outros modelos de código aberto em vários testes.
Múltiplos tamanhos de parâmetros permitem que equipes troquem velocidade de inferência por capacidade.
Modelos maiores 33B precisam de memória GPU substancial para inferência local.
A documentação está centrada no README do GitHub em vez de um site de documentação independente.
Modelos Instruct requerem alterações no eos_token_id para um comportamento ideal na conclusão de código.
O que é o DeepSeek Coder?
DeepSeek Coder é uma série de modelos de linguagem de código open-source da DeepSeek. Os modelos lidam com tarefas de completamento de código, preenchimento, geração a nível de repositório e codificação seguindo instruções em várias linguagens de programação.
Quais tamanhos de modelo o DeepSeek Coder oferece?
O DeepSeek Coder está disponível nos tamanhos de 1B, 5,7B, 6,7B e 33B de parâmetros. Cada tamanho possui um modelo base para completamento e um modelo instruct ajustado para solicitações de codificação no estilo chat.
O DeepSeek Coder é gratuito para uso?
Sim. Os pesos do modelo DeepSeek Coder estão disponíveis no Hugging Face, o código do repositório é licenciado sob MIT, e o projeto indica que o uso comercial é suportado sob a licença do modelo.
Como faço para executar o DeepSeek Coder localmente?
O DeepSeek Coder oferece exemplos em Python no README do GitHub usando Hugging Face Transformers e PyTorch. Você também pode rodar uma demo local com Gradio na pasta demo ou usar vLLM para inferência de maior desempenho.
Em quais benchmarks o DeepSeek Coder tem bom desempenho?
O DeepSeek Coder apresenta fortes pontuações pass@1 nos benchmarks HumanEval, MultiPL-E, MBPP, DS-1000 e APPS. O README inclui tabelas detalhadas de avaliação e scripts na pasta Evaluation.
Posso fazer fine-tuning do DeepSeek Coder com meus próprios dados?
Sim. O DeepSeek Coder inclui um script finetune_deepseekcoder.py com suporte a DeepSpeed. Os dados de treinamento devem seguir o formato JSONL de instrução e saída descrito no README de fine-tuning.

