Waifu-diffusion on Hugging Face vs Drag Your GAN

Waifu-diffusion on Hugging Face transforma comandos de texto em imagens no estilo anime através de um modelo Stable Diffusion ajustado com artes de anime de alta qualidade. Você carrega hakurei/waifu-diffusion com a biblioteca Diffusers em Python, passa um comando e obtém uma imagem gerada. A página do modelo inclui código pronto para execução para CUDA, Apple MPS, Google Colab e aplicativos locais como Draw Things e DiffusionBee.

Em comparação com checkpoints do Stable Diffusion de uso geral, este modelo é ajustado especificamente para a estética de animes em vez de fotorrealismo. Esse foco restrito o torna uma base comum para fan art, conceitos de personagens e ilustrações estilizadas, enquanto os modelos SD gerais frequentemente precisam de comandos mais pesados para se manterem no estilo anime. Os pesos da v1.4 são distribuídos sob a licença CreativeML OpenRAIL-M com mais de 2.500 curtidas da comunidade e cerca de 1.166 downloads no último mês no Hugging Face.

O modelo tem 0,9 bilhão de parâmetros no formato Safetensors e funciona com o StableDiffusionPipeline no Diffusers. Os criadores podem ajustá-lo ou adaptá-lo ainda mais, com quatro modelos de adaptador, dois ajustes finos e uma quantização listados na árvore de modelos do Hugging Face.

Waifu-diffusion é adequado para ilustradores, entusiastas e desenvolvedores que desejam geração de imagens de anime que possam executar localmente ou em notebooks sem construir um modelo do zero.

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.