Drag Your GAN vs Dall-E 2

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.

DALL-E 2 transforma descrições em texto em imagens e obras de arte originais. Você descreve uma cena em linguagem simples, e o modelo combina conceitos, atributos e estilos em uma nova imagem. A OpenAI lançou-o em 2022 com quatro vezes a resolução do DALL-E original, e avaliadores o preferiram ao DALL-E 1 em 71,7% dos testes de correspondência de legendas e 88,8% das comparações de fotorrealismo.

Midjourney e Stable Diffusion atendem comunidades de entusiastas com fluxos de trabalho via Discord ou auto-hospedados. O DALL-E 2 é integrado ao ChatGPT para criadores casuais e disponível via API da OpenAI para desenvolvedores que precisam de geração programática de imagens com filtros de conteúdo que bloqueiam descrições violentas, odiosas, adultas e políticas, além de rostos públicos fotorrealistas.

Designers, profissionais de marketing e desenvolvedores usam o DALL-E 2 para criar conceitos, ilustrar posts de blog e prototipar visuais sem necessidade de sessão fotográfica. A página do produto agora direciona os usuários ao ChatGPT para criação, enquanto a API de Imagens continua a oferecer modelos mais recentes junto com o DALL-E 2 para equipes que precisam de geração automatizada.