The Replace-background API of novita.ai vs Drag Your GAN

A Replace Background API da Novita AI troca o fundo de uma foto enviada por uma nova cena descrita em um prompt de texto. Ela faz parte das Model APIs de edição de imagem da Novita, junto com chamadas para remoção de fundo, pintura e aumento de escala que compartilham a mesma plataforma api.novita.ai.

A maioria das ferramentas de fundo oferece um recorte em branco ou uma biblioteca de modelos fixos. O endpoint replace-background da Novita é orientado por prompt, então a mesma integração pode inserir um produto em um armazém, um retrato em um estúdio ou um sujeito em qualquer cena que você descreva, sem a necessidade de manter pacotes de ativos separados.

Os desenvolvedores acessam através das REST APIs da Novita ou dos SDKs oficiais em Python e JavaScript após criar uma chave de API no console. Novas contas recebem crédito inicial em voucher, as cobranças de uso são feitas contra um saldo pré-pago, e o playground da Model API permite testar fluxos de trabalho de imagem antes de integrá-los ao código de produção.

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.