Waifu-diffusion on Hugging Face vs mo-di-diffusion on Hugging Face

Waifu-diffusion on Hugging Face transforme des descriptions textuelles en images de style anime grâce à un modèle Stable Diffusion finement ajusté sur des œuvres d'art anime de haute qualité. Vous chargez hakurei/waifu-diffusion avec la bibliothèque Diffusers en Python, transmettez une description et obtenez une image générée. La fiche du modèle comprend du code prêt à l'emploi pour CUDA, Apple MPS, Google Colab et des applications locales comme Draw Things et DiffusionBee.

Comparé aux points de contrôle Stable Diffusion à usage général, ce modèle est optimisé spécifiquement pour l'esthétique anime plutôt que pour le photoréalisme. Cette orientation spécifique en fait une base courante pour les fanarts, les concepts de personnages et les illustrations stylisées, tandis que les modèles SD généraux nécessitent souvent des descriptions plus poussées pour conserver un style anime. Les poids de la version v1.4 sont fournis sous la licence CreativeML OpenRAIL-M avec plus de 2 500 mentions J'aime de la communauté et environ 1 166 téléchargements le mois dernier sur Hugging Face.

Le modèle pèse 0,9 milliard de paramètres au format Safetensors et fonctionne avec StableDiffusionPipeline dans Diffusers. Les créateurs peuvent l'affiner ou l'adapter davantage, avec quatre modèles d'adaptateurs, deux ajustements fins et une quantification répertoriés dans l'arborescence des modèles Hugging Face.

Waifu-diffusion s'adresse aux illustrateurs, aux passionnés et aux développeurs qui recherchent une génération d'images anime qu'ils peuvent exécuter localement ou dans des notebooks sans avoir à construire un modèle à partir de zéro.

mo-di-diffusion est un point de contrôle Stable Diffusion 1.5 affiné sur Hugging Face qui génère des personnages et des scènes dans un style de film d'animation moderne. Le créateur nitrosocke l'a entraîné sur des captures d'écran d'un studio d'animation populaire en utilisant DreamBooth avec une perte de préservation préalable et un entraînement de l'encodeur de texte sur plus de 9 000 étapes. Ajoutez le token modern disney style à votre prompt pour déclencher cette esthétique.

Les points de contrôle SD 1.5 généraux visent le photoréalisme ou des styles d'illustration larges. mo-di-diffusion se concentre fortement sur ce look brillant d'animation de personnages, c'est pourquoi les exemples de prompts pour des héros de jeux, des animaux et des paysages sont tous plutôt cinématographiques que photographiques. Les poids se chargent via le pipeline standard Diffusers StableDiffusionPipeline, vous pouvez donc l'exécuter localement, dans Colab ou dans Hugging Face Spaces sans API propriétaire.

Les artistes, amateurs et développeurs expérimentant des concepts de personnages utilisent mo-di-diffusion lorsqu'ils souhaitent des rendus proches de Disney sans commander un entraînement de modèle personnalisé. La fiche du modèle inclut un code Python d'exemple, des liens vers des démos Gradio, ainsi que des notes sur les options d'export ONNX, MPS et FLAX. Il est téléchargeable gratuitement sous licence CreativeML OpenRAIL-M avec une utilisation commerciale autorisée sous réserve des restrictions de la licence sur les dommages.