Última actualización 08-12-2026
Categoría:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
mshumer/gpt-prompt-engineer - GitHub
mshumer/gpt-prompt-engineer es un kit de herramientas de ingeniería de prompts de código abierto que genera, prueba y clasifica prompts candidatos para una tarea que definas. Describes el caso de uso, proporcionas casos de prueba, y los cuadernos de Jupyter crean múltiples variantes de prompts, los ejecutan contra cada caso de prueba, y ordenan los resultados con un sistema de puntuación ELO que comienza en 1200. Se distribuye como cuadernos de Jupyter que puedes ejecutar en Google Colab o localmente.
La mayoría de las herramientas de prompts te ayudan a escribir un prompt a la vez. gpt-prompt-engineer trata la selección de prompts como un torneo: docenas de candidatos compiten en tus casos de prueba, y las puntuaciones ELO más altas revelan a los ganadores. Cuadernos separados cubren tareas de clasificación, Claude 3 Opus con casos de prueba generados automáticamente, y conversión de Opus a Haiku para inferencia más económica. El registro opcional con Weights & Biases y Portkey rastrea cada ejecución.
Los ingenieros de ML, ingenieros de prompts y desarrolladores de IA lo utilizan cuando necesitan ajustes reproducibles de prompts en lugar de prueba y error manual. El repositorio tiene 9.7k estrellas en GitHub y funciona con tus propias claves de API de OpenAI o Anthropic. Es gratuito bajo la licencia MIT.
Genera múltiples candidatos de prompts a partir de una descripción de tarea y casos de prueba proporcionados por el usuario
Clasifica prompts con un sistema de puntuación ELO que comienza en 1200 por candidato
Soporta modelos GPT-4, GPT-3.5-Turbo y Claude 3 Opus como backend
Cuaderno de clasificación evalúa casos de prueba verdadero/falso e imprime una tabla de resultados
Cuaderno de Claude 3 genera automáticamente casos de prueba a partir de definiciones de variables de entrada
Cuaderno de conversión Opus-to-Haiku reduce latencia y costo manteniendo la calidad de salida
Registro opcional con Weights & Biases y Portkey para seguimiento de experimentos
Automatiza pruebas de torneos de prompts en lugar de reescrituras manuales puntuales
La clasificación ELO facilita la comparación de docenas de candidatos con los mismos casos de prueba
Múltiples cuadernos cubren clasificación, Claude 3 y conversión Opus-to-Haiku
Requiere tus propias claves de API de OpenAI o Anthropic y configuración de cuadernos
Generar muchos candidatos de prompts puede resultar costoso a gran escala
No hay interfaz de usuario alojada; trabajas completamente dentro de cuadernos Jupyter
¿Es gratuito usar mshumer/gpt-prompt-engineer?
Sí, mshumer/gpt-prompt-engineer es gratuito y de código abierto bajo la licencia MIT en GitHub. Puedes ejecutar los cuadernos de Jupyter en Google Colab o localmente y solo pagas por tu propio uso de las API de OpenAI o Anthropic.
¿Cómo clasifica gpt-prompt-engineer los prompts?
mshumer/gpt-prompt-engineer prueba cada prompt generado contra tus casos de prueba y los clasifica con un sistema de puntuación ELO. Cada prompt comienza con 1200 puntos ELO y gana o pierde puntos según su rendimiento en enfrentamientos con tus entradas.
¿Qué modelos soporta gpt-prompt-engineer?
mshumer/gpt-prompt-engineer soporta GPT-4, GPT-3.5-Turbo y Claude 3 Opus según el cuaderno que ejecutes. El cuaderno de conversión de Opus a Haiku combina la planificación de Claude 3 Opus con la generación de Claude 3 Haiku para reducir costos.
¿Cómo se ejecuta mshumer/gpt-prompt-engineer?
mshumer/gpt-prompt-engineer se ejecuta como cuadernos de Jupyter alojados en GitHub. Abre gpt_prompt_engineer.ipynb en Google Colab, añade tu clave de API de OpenAI, define una descripción del caso de uso y los casos de prueba, luego ejecuta generate_optimal_prompt para iniciar el torneo.
¿Gpt-prompt-engineer maneja tareas de clasificación?
Sí, mshumer/gpt-prompt-engineer incluye un cuaderno de Versión de Clasificación que evalúa prompts en casos de prueba de verdadero/falso. Cada caso de prueba empareja un prompt con una etiqueta de salida esperada, y el cuaderno imprime una tabla de puntuaciones por candidato.
¿Cuántas estrellas tiene gpt-prompt-engineer en GitHub?
mshumer/gpt-prompt-engineer tiene aproximadamente 9.700 estrellas en GitHub y 681 bifurcaciones según la página del repositorio. El proyecto es mantenido por Matt Shumer y recibió la última actualización del README en octubre de 2025.