Waifu-diffusion on Hugging Face vs Drag Your GAN

Waifu-diffusion on Hugging Face transforme des descriptions textuelles en images de style anime grâce à un modèle Stable Diffusion finement ajusté sur des œuvres d'art anime de haute qualité. Vous chargez hakurei/waifu-diffusion avec la bibliothèque Diffusers en Python, transmettez une description et obtenez une image générée. La fiche du modèle comprend du code prêt à l'emploi pour CUDA, Apple MPS, Google Colab et des applications locales comme Draw Things et DiffusionBee.

Comparé aux points de contrôle Stable Diffusion à usage général, ce modèle est optimisé spécifiquement pour l'esthétique anime plutôt que pour le photoréalisme. Cette orientation spécifique en fait une base courante pour les fanarts, les concepts de personnages et les illustrations stylisées, tandis que les modèles SD généraux nécessitent souvent des descriptions plus poussées pour conserver un style anime. Les poids de la version v1.4 sont fournis sous la licence CreativeML OpenRAIL-M avec plus de 2 500 mentions J'aime de la communauté et environ 1 166 téléchargements le mois dernier sur Hugging Face.

Le modèle pèse 0,9 milliard de paramètres au format Safetensors et fonctionne avec StableDiffusionPipeline dans Diffusers. Les créateurs peuvent l'affiner ou l'adapter davantage, avec quatre modèles d'adaptateurs, deux ajustements fins et une quantification répertoriés dans l'arborescence des modèles Hugging Face.

Waifu-diffusion s'adresse aux illustrateurs, aux passionnés et aux développeurs qui recherchent une génération d'images anime qu'ils peuvent exécuter localement ou dans des notebooks sans avoir à construire un modèle à partir de zéro.

Drag Your GAN vous permet de remodeler une image générée en déplaçant des points de contrôle vers des emplacements ciblés sur la toile. Plutôt que de s'entraîner sur des données de pose étiquetées ou des priorités 3D, DragGAN déplace les pixels à l'intérieur du domaine d'image d'un GAN préentraîné afin que les modifications restent photoréalistes même lorsque des régions occultées sont imaginées. La page du projet héberge l'article SIGGRAPH 2023, des clips de démonstration et des liens vers le code source ouvert.

La plupart des éditeurs GAN s'appuient sur des annotations d'entraînement fixes ou des maillages 3D, ce qui limite ce que vous pouvez déformer. DragGAN associe une supervision du mouvement basée sur les caractéristiques à un suivi discriminatif des points pour que les points de contrôle suivent votre curseur tout en restant à la surface de l'objet. Cela le rend utile pour ajuster les poses d'animaux, les expressions faciales, les angles de voiture et les agencements de paysage sans réentraîner le générateur.

Des chercheurs, étudiants en infographie et ingénieurs en vision par ordinateur l'utilisent pour prototyper des flux de travail d'édition d'image interactifs. La page de l'Institut Max Planck distribue le PDF de l'article et le dépôt GitHub sous une licence Creative Commons non commerciale, avec les coordonnées de l'auteur principal.