ArtBot vs Drag Your GAN

ArtBot é um cliente gratuito para navegador para geração de imagens com Stable Diffusion através do AI Horde, uma rede distribuída de GPUs voluntárias. Você abre o site, escreve um prompt, escolhe entre 154 modelos hospedados pela comunidade e recebe as imagens sem precisar instalar software ou criar uma conta. Tudo roda no navegador, e suas gerações ficam armazenadas localmente no IndexedDB em vez de nos servidores do ArtBot.

A maioria das ferramentas de geração de imagens ou precisa de uma GPU local ou cobra pelo uso de computação em nuvem. O ArtBot encaminha o trabalho pelo AI Horde, então você troca custos de hardware por tempo de fila. Isso o torna incomumente prático se você quer ControlNet, img2img, inpainting e pintura ao vivo em uma interface gratuita, mas não quer rodar o Automatic1111 na sua própria máquina. A desvantagem é que a velocidade e confiabilidade dependem de quantos trabalhadores estão online, não de um SLA fixo.

Ele é adequado para entusiastas que experimentam prompts, artistas que querem acesso ao Horde sem lidar com ferramentas de linha de comando, e colaboradores que operam GPUs para ganhar reconhecimento e prioridade na fila. Dave Schumaker o criou como um projeto paralelo de código aberto, e a página sobre relata mais de 40 milhões de imagens geradas pelo serviço.

No campo de sintetizar conteúdo visual para atender às necessidades dos usuários, é essencial alcançar um controle preciso sobre pose, forma, expressão e layout de objetos gerados. As abordagens tradicionais para controlar redes adversárias generativas (GANs) se basearam em anotações manuais durante o treinamento ou modelos 3D anteriores, geralmente sem flexibilidade, precisão e versatilidade necessárias para diversas aplicações.

Em nossa pesquisa, exploramos um método inovador e relativamente desconhecido para o controle da GaN-a capacidade de "arrastar" pontos de imagem específicos para atingir com precisão os pontos de destino definidos pelo usuário de maneira interativa (conforme ilustrado na Fig.1). Essa abordagem levou ao desenvolvimento de Draggan, uma nova estrutura que compreende dois componentes principais:

Supervisão de movimento baseada em recursos: este componente guia os pontos da imagem em direção às posições do alvo pretendido por meio de supervisão de movimento baseado em recursos.

Rastreamento de pontos: alavancando os recursos discriminativos do GAN, nossa nova técnica de rastreamento de pontos localiza continuamente a posição dos pontos de alça.

O Draggan capacita os usuários a deformar imagens com precisão notável, permitindo a manipulação da pose, forma, expressão e layout em diversas categorias como animais, carros, humanos, paisagens e muito mais. Essas manipulações ocorrem dentro do coletor de imagem generativo instruído de um GaN, resultando em saídas realistas, mesmo em cenários complexos, como gerar conteúdo ocluído e formas deformadas enquanto aderem à rigidez do objeto.

Nossas avaliações abrangentes, abrangendo comparações qualitativas e quantitativas, destacam a superioridade do Draggan sobre os métodos existentes em tarefas relacionadas à manipulação de imagens e rastreamento de pontos. Além disso, demonstramos suas capacidades na manipulação de imagens do mundo real através da inversão de GaN, mostrando seu potencial para várias aplicações práticas no campo da síntese e controle de conteúdo visual.