Última atualização 08-12-2026
Categoria:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
mshumer/gpt-prompt-engineer - GitHub
mshumer/gpt-prompt-engineer é um kit de ferramentas de engenharia de prompts de código aberto que gera, testa e classifica prompts candidatos para uma tarefa que você define. Você descreve o caso de uso, fornece casos de teste e os cadernos criam várias variantes de prompts, executam-nos em todos os casos de teste e classificam os resultados com um sistema de classificação ELO começando em 1200. Ele é distribuído como cadernos Jupyter que você pode executar no Google Colab ou localmente.
A maioria das ferramentas de prompts ajuda você a escrever um prompt de cada vez. O gpt-prompt-engineer trata a seleção de prompts como um torneio: dezenas de candidatos competem em seus casos de teste, e as pontuações ELO mais altas revelam os vencedores. Cadernos separados cobrem tarefas de classificação, o Claude 3 Opus com casos de teste gerados automaticamente e a conversão de Opus para Haiku para inferência mais barata. Opcionalmente, o Weights & Biases e o Portkey registram cada execução.
Engenheiros de ML, engenheiros de prompts e desenvolvedores de IA o utilizam quando precisam de ajuste de prompts reprodutível em vez de tentativa e erro manual. O repositório tem 9,7 mil estrelas no GitHub e funciona com suas próprias chaves de API da OpenAI ou Anthropic. É gratuito sob a licença MIT.
Gera múltiplas sugestões de prompts a partir de uma descrição de tarefa e casos de teste fornecidos pelo usuário
Classifica prompts com um sistema de classificação ELO iniciando em 1200 por candidato
Suporta modelos de back-end GPT-4, GPT-3.5-Turbo e Claude 3 Opus
Notebook de classificação pontua casos de teste verdadeiro/falso e exibe uma tabela de resultados
Notebook do Claude 3 gera automaticamente casos de teste a partir de definições de variáveis de entrada
Notebook de conversão Opus-to-Haiku reduz latência e custo enquanto preserva a qualidade da saída
Registro opcional no Weights & Biases e Portkey para rastreamento de experimentos
Automatiza testes de torneio de prompts em vez de reescritas manuais pontuais
A classificação ELO facilita a comparação de dezenas de candidatos nos mesmos casos de teste
Múltiplos notebooks cobrem classificação, Claude 3 e conversão Opus-to-Haiku
Requer suas próprias chaves de API da OpenAI ou Anthropic e configuração do notebook
Gerar muitas sugestões de prompts pode ficar caro em escala
Sem interface de usuário hospedada; você trabalha inteiramente dentro de notebooks Jupyter
O mshumer/gpt-prompt-engineer é gratuito?
Sim, o mshumer/gpt-prompt-engineer é gratuito e de código aberto sob a licença MIT no GitHub. Você executa os notebooks Jupyter no Google Colab ou localmente e paga apenas pela sua própria utilização da API da OpenAI ou Anthropic.
Como o gpt-prompt-engineer classifica os prompts?
O mshumer/gpt-prompt-engineer testa cada prompt gerado contra seus casos de teste e os classifica com um sistema de classificação ELO. Todo prompt começa com 1200 pontos ELO e ganha ou perde pontos com base no desempenho em comparações diretas com suas entradas.
Quais modelos o gpt-prompt-engineer suporta?
O mshumer/gpt-prompt-engineer suporta GPT-4, GPT-3.5-Turbo e Claude 3 Opus, dependendo de qual notebook você executar. O notebook de conversão Opus-to-Haiku combina o planejamento do Claude 3 Opus com a geração do Claude 3 Haiku para reduzir custos.
Como executar o mshumer/gpt-prompt-engineer?
O mshumer/gpt-prompt-engineer é executado como notebooks Jupyter hospedados no GitHub. Abra o gpt_prompt_engineer.ipynb no Google Colab, adicione sua chave da API da OpenAI, defina uma descrição de caso de uso e casos de teste, e então chame generate_optimal_prompt para iniciar o torneio.
O gpt-prompt-engineer lida com tarefas de classificação?
Sim, o mshumer/gpt-prompt-engineer inclui um notebook de Versão de Classificação que avalia prompts em casos de teste verdadeiro/falso. Cada caso de teste combina um prompt com um rótulo de saída esperado, e o notebook exibe uma tabela de pontuações por candidato.
Quantas estrelas o gpt-prompt-engineer tem no GitHub?
O mshumer/gpt-prompt-engineer tem cerca de 9.700 estrelas e 681 forks no GitHub, conforme listado na página do repositório. O projeto é mantido por Matt Shumer e teve a última atualização do README em outubro de 2025.