Waifu-diffusion on Hugging Face vs Drag Your GAN

Waifu-diffusion on Hugging Face transforme des descriptions textuelles en images de style anime grâce à un modèle Stable Diffusion finement ajusté sur des œuvres d'art anime de haute qualité. Vous chargez hakurei/waifu-diffusion avec la bibliothèque Diffusers en Python, transmettez une description et obtenez une image générée. La fiche du modèle comprend du code prêt à l'emploi pour CUDA, Apple MPS, Google Colab et des applications locales comme Draw Things et DiffusionBee.

Comparé aux points de contrôle Stable Diffusion à usage général, ce modèle est optimisé spécifiquement pour l'esthétique anime plutôt que pour le photoréalisme. Cette orientation spécifique en fait une base courante pour les fanarts, les concepts de personnages et les illustrations stylisées, tandis que les modèles SD généraux nécessitent souvent des descriptions plus poussées pour conserver un style anime. Les poids de la version v1.4 sont fournis sous la licence CreativeML OpenRAIL-M avec plus de 2 500 mentions J'aime de la communauté et environ 1 166 téléchargements le mois dernier sur Hugging Face.

Le modèle pèse 0,9 milliard de paramètres au format Safetensors et fonctionne avec StableDiffusionPipeline dans Diffusers. Les créateurs peuvent l'affiner ou l'adapter davantage, avec quatre modèles d'adaptateurs, deux ajustements fins et une quantification répertoriés dans l'arborescence des modèles Hugging Face.

Waifu-diffusion s'adresse aux illustrateurs, aux passionnés et aux développeurs qui recherchent une génération d'images anime qu'ils peuvent exécuter localement ou dans des notebooks sans avoir à construire un modèle à partir de zéro.

Dans le domaine de la synthèse de contenu visuel pour répondre aux besoins des utilisateurs, il est essentiel d'obtenir un contrôle précis sur la pose, la forme, l'expression et la disposition des objets générés. Les approches traditionnelles de contrôle des réseaux adverses génératifs (GAN) reposaient sur des annotations manuelles lors de la formation ou sur des modèles 3D préalables, manquant souvent de la flexibilité, de la précision et de la polyvalence requises pour diverses applications.

Dans notre recherche, nous explorons une méthode innovante et relativement inexplorée pour le contrôle du GAN : la possibilité de « faire glisser » des points d'image spécifiques pour atteindre avec précision des points cibles définis par l'utilisateur de manière interactive (comme illustré sur la figure 1). Cette approche a conduit au développement de DragGAN, un nouveau framework comprenant deux composants principaux :

Supervision de mouvement basée sur les fonctionnalités : ce composant guide les points de poignée dans l'image vers leurs positions cibles prévues grâce à une supervision de mouvement basée sur les fonctionnalités.

Suivi des points : tirant parti des fonctionnalités discriminantes du GAN, notre nouvelle technique de suivi des points localise en permanence la position des points de poignée.

DragGAN permet aux utilisateurs de déformer les images avec une précision remarquable, permettant ainsi la manipulation de la pose, de la forme, de l'expression et de la disposition dans diverses catégories telles que les animaux, les voitures, les humains, les paysages, etc. Ces manipulations ont lieu au sein de la variété d'images génératives apprises d'un GAN, ce qui donne des résultats réalistes, même dans des scénarios complexes tels que la génération de contenu occlus et la déformation de formes tout en adhérant à la rigidité de l'objet.

Nos évaluations complètes, comprenant des comparaisons qualitatives et quantitatives, mettent en évidence la supériorité de DragGAN sur les méthodes existantes dans les tâches liées à la manipulation d'images et au suivi de points. De plus, nous démontrons ses capacités à manipuler des images du monde réel via l'inversion GAN, démontrant ainsi son potentiel pour diverses applications pratiques dans le domaine de la synthèse et du contrôle de contenu visuel.