mo-di-diffusion on Hugging Face vs Drag Your GAN

mo-di-diffusion est un point de contrôle Stable Diffusion 1.5 affiné sur Hugging Face qui génère des personnages et des scènes dans un style de film d'animation moderne. Le créateur nitrosocke l'a entraîné sur des captures d'écran d'un studio d'animation populaire en utilisant DreamBooth avec une perte de préservation préalable et un entraînement de l'encodeur de texte sur plus de 9 000 étapes. Ajoutez le token modern disney style à votre prompt pour déclencher cette esthétique.

Les points de contrôle SD 1.5 généraux visent le photoréalisme ou des styles d'illustration larges. mo-di-diffusion se concentre fortement sur ce look brillant d'animation de personnages, c'est pourquoi les exemples de prompts pour des héros de jeux, des animaux et des paysages sont tous plutôt cinématographiques que photographiques. Les poids se chargent via le pipeline standard Diffusers StableDiffusionPipeline, vous pouvez donc l'exécuter localement, dans Colab ou dans Hugging Face Spaces sans API propriétaire.

Les artistes, amateurs et développeurs expérimentant des concepts de personnages utilisent mo-di-diffusion lorsqu'ils souhaitent des rendus proches de Disney sans commander un entraînement de modèle personnalisé. La fiche du modèle inclut un code Python d'exemple, des liens vers des démos Gradio, ainsi que des notes sur les options d'export ONNX, MPS et FLAX. Il est téléchargeable gratuitement sous licence CreativeML OpenRAIL-M avec une utilisation commerciale autorisée sous réserve des restrictions de la licence sur les dommages.

Drag Your GAN vous permet de remodeler une image générée en déplaçant des points de contrôle vers des emplacements ciblés sur la toile. Plutôt que de s'entraîner sur des données de pose étiquetées ou des priorités 3D, DragGAN déplace les pixels à l'intérieur du domaine d'image d'un GAN préentraîné afin que les modifications restent photoréalistes même lorsque des régions occultées sont imaginées. La page du projet héberge l'article SIGGRAPH 2023, des clips de démonstration et des liens vers le code source ouvert.

La plupart des éditeurs GAN s'appuient sur des annotations d'entraînement fixes ou des maillages 3D, ce qui limite ce que vous pouvez déformer. DragGAN associe une supervision du mouvement basée sur les caractéristiques à un suivi discriminatif des points pour que les points de contrôle suivent votre curseur tout en restant à la surface de l'objet. Cela le rend utile pour ajuster les poses d'animaux, les expressions faciales, les angles de voiture et les agencements de paysage sans réentraîner le générateur.

Des chercheurs, étudiants en infographie et ingénieurs en vision par ordinateur l'utilisent pour prototyper des flux de travail d'édition d'image interactifs. La page de l'Institut Max Planck distribue le PDF de l'article et le dépôt GitHub sous une licence Creative Commons non commerciale, avec les coordonnées de l'auteur principal.