NMKD Stable Diffusion GUI vs Drag Your GAN

NMKD Stable Diffusion GUI executa geração de texto para imagem e de imagem para imagem localmente no seu PC com Windows usando sua própria GPU. O download no itch.io inclui as dependências para que você não precise configurar o Python manualmente, e a versão 1.11.0 vem com um modelo Stable Diffusion 1.5 em um pacote de 3,3 GB ou uma versão de 1,5 GB se você fornecer seus próprios checkpoints.

Diferente dos geradores baseados em navegador que enfileiram tarefas em servidores remotos, o NMKD mantém tudo no seu hardware sem coleta de dados. Ele adiciona treinamento LoRA em GPUs de 8 GB, edição InstructPix2Pix, upscaling RealESRGAN e restauração facial com CodeFormer ou GFPGAN em um único aplicativo para desktop. O autor relata gerações em menos de 2 segundos em uma RTX 3090 e em menos de um segundo em uma RTX 4090.

Entusiastas do Windows, artistas de texturas para jogos e criadores que desejam controle local sem censura são o público principal. Filas de prompts integradas, saída tileável para ativos de jogos, carregamento personalizado de VAE e checkpoints, e uma verificação de malware nos modelos baixados fazem dele uma ferramenta completa para estações de trabalho, e não apenas uma demonstração rápida online.

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.