TLM Playground vs mshumer/gpt-prompt-engineer - GitHub

TLM Playground é o centro de documentação da Cleanlab para o Trustworthy Language Model (TLM), uma API de geração de modelos que avalia em tempo real a confiabilidade de qualquer resposta de LLM. Cada resposta recebe uma pontuação de confiabilidade entre 0 e 1, sinalizando alucinações e erros de raciocínio antes que cheguem aos usuários. Instale o cliente Python com pip install cleanlab-tlm, defina uma CLEANLAB_TLM_API_KEY e chame TLM.prompt() para gerar respostas pontuadas ou get_trustworthiness_score() para auditar saídas da sua pilha existente.

A maioria dos detectores de alucinação foca na fidelidade ao contexto recuperado. Métricas como RAGAS verificam se uma resposta corresponde aos documentos fonte, mas não detectam erros factuais quando o contexto é escasso ou confuso. O TLM usa estimativa de incerteza do modelo em vez de prompting LLM-como-juiz, e a Cleanlab publica benchmarks mostrando precisão 3x maior que RAGAS em fluxos de trabalho RAG. Não requer dados rotulados no seu domínio, o que evita o problema de deriva que compromete avaliadores personalizados.

Engenheiros de ML e IA que constroem pipelines RAG, chatbots e sistemas agentes usam o TLM para bloquear saídas de baixa confiança, encaminhá-las para humanos ou substituir por respostas alternativas. A API cobre saídas estruturadas, chamadas de ferramentas, rótulos de classificação e conversas de múltiplas rodadas, não apenas completions de texto simples.

mshumer/gpt-prompt-engineer é um kit de ferramentas de engenharia de prompts de código aberto que gera, testa e classifica prompts candidatos para uma tarefa que você define. Você descreve o caso de uso, fornece casos de teste e os cadernos criam várias variantes de prompts, executam-nos em todos os casos de teste e classificam os resultados com um sistema de classificação ELO começando em 1200. Ele é distribuído como cadernos Jupyter que você pode executar no Google Colab ou localmente.

A maioria das ferramentas de prompts ajuda você a escrever um prompt de cada vez. O gpt-prompt-engineer trata a seleção de prompts como um torneio: dezenas de candidatos competem em seus casos de teste, e as pontuações ELO mais altas revelam os vencedores. Cadernos separados cobrem tarefas de classificação, o Claude 3 Opus com casos de teste gerados automaticamente e a conversão de Opus para Haiku para inferência mais barata. Opcionalmente, o Weights & Biases e o Portkey registram cada execução.

Engenheiros de ML, engenheiros de prompts e desenvolvedores de IA o utilizam quando precisam de ajuste de prompts reprodutível em vez de tentativa e erro manual. O repositório tem 9,7 mil estrelas no GitHub e funciona com suas próprias chaves de API da OpenAI ou Anthropic. É gratuito sob a licença MIT.