Tune vs mshumer/gpt-prompt-engineer - GitHub

Tune é uma plataforma empresarial de GenAI da NimbleBox que ajuda equipes a ajustar finamente, implantar e executar modelos de linguagem de grande porte de código aberto em sua própria infraestrutura na nuvem ou local. A plataforma é centrada no Tune Studio para experimentação e ajuste de modelos, Tune Chat para assistentes de IA personalizáveis e serviços profissionais para organizações que desejam assistência prática.

O Tune Studio oferece aos desenvolvedores um espaço para testar LLMs, salvar conjuntos de dados de alta qualidade de interações, ajustar modelos em hardware dedicado com GPU e implantar através de APIs públicas ou motores de inferência como TGI, vLLM e Triton. Os modelos base suportados incluem Llama 3.1, Qwen 2, Gemma 2, Mixtral e outros.

A empresa se posiciona para empresas que precisam de propriedade dos dados, conformidade e flexibilidade além de APIs de código fechado. A Tune informa conformidade com SOC 2 Tipo 2, HIPAA e ISO 27001, com opções de implantação em nuvem dedicada, nuvem do usuário ou local.

mshumer/gpt-prompt-engineer é um kit de ferramentas de engenharia de prompts de código aberto que gera, testa e classifica prompts candidatos para uma tarefa que você define. Você descreve o caso de uso, fornece casos de teste e os cadernos criam várias variantes de prompts, executam-nos em todos os casos de teste e classificam os resultados com um sistema de classificação ELO começando em 1200. Ele é distribuído como cadernos Jupyter que você pode executar no Google Colab ou localmente.

A maioria das ferramentas de prompts ajuda você a escrever um prompt de cada vez. O gpt-prompt-engineer trata a seleção de prompts como um torneio: dezenas de candidatos competem em seus casos de teste, e as pontuações ELO mais altas revelam os vencedores. Cadernos separados cobrem tarefas de classificação, o Claude 3 Opus com casos de teste gerados automaticamente e a conversão de Opus para Haiku para inferência mais barata. Opcionalmente, o Weights & Biases e o Portkey registram cada execução.

Engenheiros de ML, engenheiros de prompts e desenvolvedores de IA o utilizam quando precisam de ajuste de prompts reprodutível em vez de tentativa e erro manual. O repositório tem 9,7 mil estrelas no GitHub e funciona com suas próprias chaves de API da OpenAI ou Anthropic. É gratuito sob a licença MIT.