mo-di-diffusion on Hugging Face vs Drag Your GAN

mo-di-diffusion é um checkpoint do Stable Diffusion 1.5 ajustado no Hugging Face que gera personagens e cenas com um visual de filme de animação moderno. O criador nitrosocke treinou-o com capturas de tela de um estúdio de animação popular usando DreamBooth com perda de preservação prévia e treinamento do codificador de texto por mais de 9.000 etapas. Adicione o token modern disney style ao seu prompt para ativar a estética.

Os checkpoints gerais do SD 1.5 visam o fotorrealismo ou estilos amplos de ilustração. mo-di-diffusion foca fortemente naquele visual brilhante de animação de personagens, razão pela qual os prompts de exemplo para heróis de jogos, animais e paisagens são todos cinematográficos em vez de fotográficos. Os pesos carregam através do pipeline padrão Diffusers StableDiffusionPipeline, então você pode executá-lo localmente, no Colab ou dentro do Hugging Face Spaces sem uma API proprietária.

Artistas, entusiastas e desenvolvedores que experimentam conceitos de personagens usam mo-di-diffusion quando querem renderizações próximas ao estilo Disney sem encomendar treinamento personalizado do modelo. A ficha do modelo inclui código de exemplo em Python, links para demos Gradio e notas sobre opções de exportação ONNX, MPS e FLAX. É gratuito para download sob a licença CreativeML OpenRAIL-M com uso comercial permitido sujeito às restrições de danos da licença.

Drag Your GAN permite remodelar uma imagem gerada arrastando pontos de controle para locais específicos na tela. Em vez de treinar com dados de pose rotulados ou prévias 3D, o DragGAN move pixels dentro do espaço de imagens de um GAN pré-treinado para que as edições permaneçam fotorrealistas mesmo quando regiões ocultas são imaginadas. A página do projeto hospeda o artigo do SIGGRAPH 2023, clipes de demonstração e links para o código aberto.

A maioria dos editores de GAN depende de anotações fixas de treinamento ou malhas 3D, o que limita o que pode ser deformado. O DragGAN combina supervisão de movimento baseada em características com rastreamento discriminativo de pontos para que os pontos de controle sigam o cursor enquanto permanecem na superfície do objeto. Isso o torna útil para ajustar poses de animais, expressões faciais, ângulos de carros e layouts de paisagens sem precisar retreinar o gerador.

Pesquisadores, estudantes de computação gráfica e engenheiros de visão computacional o utilizam para prototipar fluxos de trabalho interativos de edição de imagens. A página do Instituto Max Planck distribui o PDF do artigo e o repositório GitHub sob uma licença Creative Commons não comercial, com detalhes de contato do autor principal.