Drag Your GAN vs Stable Diffusion

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.

Stable Diffusion é a família de modelos de geração de imagens de pesos abertos da Stability AI, agora centrada no Stable Diffusion 3.5 com variantes Large, Turbo e Medium. O site stability.ai também hospeda modelos de mídia relacionados para edição de imagens, vídeo, áudio e 3D, além do Brand Studio para produção criativa alinhada à marca. Você pode hospedar os pesos localmente, chamar a API da Stability AI ou usar aplicativos web como o Stable Assistant.

A maioria das APIs de imagem fechadas serve gerações apenas por meio de um endpoint hospedado. A Stability AI ainda publica pesos de modelos que você pode implantar em sua própria infraestrutura, além de vender ferramentas gerenciadas como o Brand Studio com treinamento específico para marcas e edição precisa. O Stable Diffusion 3.5 Large é voltado para saída profissional de 1 megapixel, o Turbo gera em quatro etapas e o Medium é ajustado para hardware de consumidor.

Ele atende equipes criativas, estúdios de jogos e desenvolvedores que desejam modelos abertos e controles empresariais. O Brand Studio oferece um teste gratuito com 1.000 créditos, um plano Creator por $19 por mês com 2.000 créditos e um plano Core por $50 por mês com 5.000 créditos. A Stability AI relata parcerias com EA, Universal Music Group e HubSpot em sua página inicial.