ArtBot vs Drag Your GAN

ArtBot é um cliente gratuito para navegador para geração de imagens com Stable Diffusion através do AI Horde, uma rede distribuída de GPUs voluntárias. Você abre o site, escreve um prompt, escolhe entre 154 modelos hospedados pela comunidade e recebe as imagens sem precisar instalar software ou criar uma conta. Tudo roda no navegador, e suas gerações ficam armazenadas localmente no IndexedDB em vez de nos servidores do ArtBot.

A maioria das ferramentas de geração de imagens ou precisa de uma GPU local ou cobra pelo uso de computação em nuvem. O ArtBot encaminha o trabalho pelo AI Horde, então você troca custos de hardware por tempo de fila. Isso o torna incomumente prático se você quer ControlNet, img2img, inpainting e pintura ao vivo em uma interface gratuita, mas não quer rodar o Automatic1111 na sua própria máquina. A desvantagem é que a velocidade e confiabilidade dependem de quantos trabalhadores estão online, não de um SLA fixo.

Ele é adequado para entusiastas que experimentam prompts, artistas que querem acesso ao Horde sem lidar com ferramentas de linha de comando, e colaboradores que operam GPUs para ganhar reconhecimento e prioridade na fila. Dave Schumaker o criou como um projeto paralelo de código aberto, e a página sobre relata mais de 40 milhões de imagens geradas pelo serviço.

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.