mo-di-diffusion on Hugging Face vs Drag Your GAN

mo-di-diffusion é um checkpoint do Stable Diffusion 1.5 ajustado no Hugging Face que gera personagens e cenas com um visual de filme de animação moderno. O criador nitrosocke treinou-o com capturas de tela de um estúdio de animação popular usando DreamBooth com perda de preservação prévia e treinamento do codificador de texto por mais de 9.000 etapas. Adicione o token modern disney style ao seu prompt para ativar a estética.

Os checkpoints gerais do SD 1.5 visam o fotorrealismo ou estilos amplos de ilustração. mo-di-diffusion foca fortemente naquele visual brilhante de animação de personagens, razão pela qual os prompts de exemplo para heróis de jogos, animais e paisagens são todos cinematográficos em vez de fotográficos. Os pesos carregam através do pipeline padrão Diffusers StableDiffusionPipeline, então você pode executá-lo localmente, no Colab ou dentro do Hugging Face Spaces sem uma API proprietária.

Artistas, entusiastas e desenvolvedores que experimentam conceitos de personagens usam mo-di-diffusion quando querem renderizações próximas ao estilo Disney sem encomendar treinamento personalizado do modelo. A ficha do modelo inclui código de exemplo em Python, links para demos Gradio e notas sobre opções de exportação ONNX, MPS e FLAX. É gratuito para download sob a licença CreativeML OpenRAIL-M com uso comercial permitido sujeito às restrições de danos da licença.

No campo de sintetizar conteúdo visual para atender às necessidades dos usuários, é essencial alcançar um controle preciso sobre pose, forma, expressão e layout de objetos gerados. As abordagens tradicionais para controlar redes adversárias generativas (GANs) se basearam em anotações manuais durante o treinamento ou modelos 3D anteriores, geralmente sem flexibilidade, precisão e versatilidade necessárias para diversas aplicações.

Em nossa pesquisa, exploramos um método inovador e relativamente desconhecido para o controle da GaN-a capacidade de "arrastar" pontos de imagem específicos para atingir com precisão os pontos de destino definidos pelo usuário de maneira interativa (conforme ilustrado na Fig.1). Essa abordagem levou ao desenvolvimento de Draggan, uma nova estrutura que compreende dois componentes principais:

Supervisão de movimento baseada em recursos: este componente guia os pontos da imagem em direção às posições do alvo pretendido por meio de supervisão de movimento baseado em recursos.

Rastreamento de pontos: alavancando os recursos discriminativos do GAN, nossa nova técnica de rastreamento de pontos localiza continuamente a posição dos pontos de alça.

O Draggan capacita os usuários a deformar imagens com precisão notável, permitindo a manipulação da pose, forma, expressão e layout em diversas categorias como animais, carros, humanos, paisagens e muito mais. Essas manipulações ocorrem dentro do coletor de imagem generativo instruído de um GaN, resultando em saídas realistas, mesmo em cenários complexos, como gerar conteúdo ocluído e formas deformadas enquanto aderem à rigidez do objeto.

Nossas avaliações abrangentes, abrangendo comparações qualitativas e quantitativas, destacam a superioridade do Draggan sobre os métodos existentes em tarefas relacionadas à manipulação de imagens e rastreamento de pontos. Além disso, demonstramos suas capacidades na manipulação de imagens do mundo real através da inversão de GaN, mostrando seu potencial para várias aplicações práticas no campo da síntese e controle de conteúdo visual.