mshumer/gpt-prompt-engineer - GitHub vs GET3D | Nvidia

mshumer/gpt-prompt-engineer é um kit de ferramentas de engenharia de prompts de código aberto que gera, testa e classifica prompts candidatos para uma tarefa que você define. Você descreve o caso de uso, fornece casos de teste e os cadernos criam várias variantes de prompts, executam-nos em todos os casos de teste e classificam os resultados com um sistema de classificação ELO começando em 1200. Ele é distribuído como cadernos Jupyter que você pode executar no Google Colab ou localmente.

A maioria das ferramentas de prompts ajuda você a escrever um prompt de cada vez. O gpt-prompt-engineer trata a seleção de prompts como um torneio: dezenas de candidatos competem em seus casos de teste, e as pontuações ELO mais altas revelam os vencedores. Cadernos separados cobrem tarefas de classificação, o Claude 3 Opus com casos de teste gerados automaticamente e a conversão de Opus para Haiku para inferência mais barata. Opcionalmente, o Weights & Biases e o Portkey registram cada execução.

Engenheiros de ML, engenheiros de prompts e desenvolvedores de IA o utilizam quando precisam de ajuste de prompts reprodutível em vez de tentativa e erro manual. O repositório tem 9,7 mil estrelas no GitHub e funciona com suas próprias chaves de API da OpenAI ou Anthropic. É gratuito sob a licença MIT.

GET3D gera ativos de malha 3D texturizados que você pode importar diretamente em um motor de renderização, treinado apenas a partir de coleções de imagens 2D. Pesquisadores da NVIDIA o desenvolveram para produzir malhas explícitas com geometria e textura, não campos neurais de radiância que precisam de renderizadores personalizados para uso.

A maioria dos modelos generativos 3D na época ou ignorava texturas, restringia você a uma topologia fixa, ou exigia pipelines de renderização neural para visualizar os resultados. GET3D usa tetraedros diferenciáveis em marcha (DMTet) mais perdas adversariais em imagens RGB rasterizadas e silhuetas, então a saída é uma malha texturizada padrão. A compensação é o acesso em nível de pesquisa: este é um projeto do NVIDIA Toronto AI Lab apresentado no NeurIPS 2022, não um SaaS hospedado com botão de upload.

O modelo lida com carros, cadeiras, animais, motocicletas, personagens humanos e edifícios. Também suporta geração de formas guiadas por texto via ajuste fino baseado em CLIP, semelhante ao StyleGAN-NADA, e pode separar geometria de textura por meio de códigos latentes separados.