OpenHermes-13B vs mshumer/gpt-prompt-engineer - GitHub

OpenHermes-13B é um modelo de linguagem ajustado com precisão, construído com base em um conjunto de dados totalmente open-source de 242.000 entradas, principalmente geradas pelo GPT-4 e curadas de vários conjuntos de dados de IA abertos. Foi desenvolvido para melhorar a geração de textos, eliminando avisos e recusas típicas de IA, visando comunicações mais claras e diretas. O modelo incorpora dados de múltiplos colaboradores, incluindo Teknium, WizardLM Team, Microsoft e outros, garantindo uma base de treinamento diversa e abrangente.

Este modelo é projetado para desenvolvedores e pesquisadores que desejam uma alternativa open-source para tarefas avançadas de geração de texto, sem os habituais avisos de segurança de IA. Suporta integração com bibliotecas populares de aprendizado de máquina como Transformers e pode ser implantado localmente ou via Docker, tornando-o acessível para experimentação e uso em produção.

OpenHermes-13B oferece transparência em seu processo de treinamento, com acesso público aos logs do seu projeto no WANDB e resultados detalhados de benchmarks. Apresenta desempenho competitivo em benchmarks como GPT4All e BigBench, com pequenas melhorias em relação a modelos semelhantes, embora apresente algumas concessões em scores de AGI-Eval.

Tecnicamente, foi treinado utilizando configurações de múltiplas GPUs com otimizador Adam e agendamento cosseno de taxa de aprendizado, enfatizando a reprodutibilidade e colaboração aberta. O modelo é compatível com diversas ferramentas de inferência e quantizações, permitindo seu uso em ambientes como llama.cpp e LM Studio.

No geral, OpenHermes-13B oferece um recurso valioso para quem busca um modelo de linguagem poderoso, open-source, ajustado para seguir instruções e gerar textos sem avisos restritivos de IA, adequado para pesquisa, desenvolvimento e implantação em diversas aplicações de IA.

mshumer/gpt-prompt-engineer é um kit de ferramentas de engenharia de prompts de código aberto que gera, testa e classifica prompts candidatos para uma tarefa que você define. Você descreve o caso de uso, fornece casos de teste e os cadernos criam várias variantes de prompts, executam-nos em todos os casos de teste e classificam os resultados com um sistema de classificação ELO começando em 1200. Ele é distribuído como cadernos Jupyter que você pode executar no Google Colab ou localmente.

A maioria das ferramentas de prompts ajuda você a escrever um prompt de cada vez. O gpt-prompt-engineer trata a seleção de prompts como um torneio: dezenas de candidatos competem em seus casos de teste, e as pontuações ELO mais altas revelam os vencedores. Cadernos separados cobrem tarefas de classificação, o Claude 3 Opus com casos de teste gerados automaticamente e a conversão de Opus para Haiku para inferência mais barata. Opcionalmente, o Weights & Biases e o Portkey registram cada execução.

Engenheiros de ML, engenheiros de prompts e desenvolvedores de IA o utilizam quando precisam de ajuste de prompts reprodutível em vez de tentativa e erro manual. O repositório tem 9,7 mil estrelas no GitHub e funciona com suas próprias chaves de API da OpenAI ou Anthropic. É gratuito sob a licença MIT.