Waifu-diffusion on Hugging Face vs mo-di-diffusion on Hugging Face

Waifu-diffusion on Hugging Face transforma comandos de texto em imagens no estilo anime através de um modelo Stable Diffusion ajustado com artes de anime de alta qualidade. Você carrega hakurei/waifu-diffusion com a biblioteca Diffusers em Python, passa um comando e obtém uma imagem gerada. A página do modelo inclui código pronto para execução para CUDA, Apple MPS, Google Colab e aplicativos locais como Draw Things e DiffusionBee.

Em comparação com checkpoints do Stable Diffusion de uso geral, este modelo é ajustado especificamente para a estética de animes em vez de fotorrealismo. Esse foco restrito o torna uma base comum para fan art, conceitos de personagens e ilustrações estilizadas, enquanto os modelos SD gerais frequentemente precisam de comandos mais pesados para se manterem no estilo anime. Os pesos da v1.4 são distribuídos sob a licença CreativeML OpenRAIL-M com mais de 2.500 curtidas da comunidade e cerca de 1.166 downloads no último mês no Hugging Face.

O modelo tem 0,9 bilhão de parâmetros no formato Safetensors e funciona com o StableDiffusionPipeline no Diffusers. Os criadores podem ajustá-lo ou adaptá-lo ainda mais, com quatro modelos de adaptador, dois ajustes finos e uma quantização listados na árvore de modelos do Hugging Face.

Waifu-diffusion é adequado para ilustradores, entusiastas e desenvolvedores que desejam geração de imagens de anime que possam executar localmente ou em notebooks sem construir um modelo do zero.

mo-di-diffusion é um checkpoint do Stable Diffusion 1.5 ajustado no Hugging Face que gera personagens e cenas com um visual de filme de animação moderno. O criador nitrosocke treinou-o com capturas de tela de um estúdio de animação popular usando DreamBooth com perda de preservação prévia e treinamento do codificador de texto por mais de 9.000 etapas. Adicione o token modern disney style ao seu prompt para ativar a estética.

Os checkpoints gerais do SD 1.5 visam o fotorrealismo ou estilos amplos de ilustração. mo-di-diffusion foca fortemente naquele visual brilhante de animação de personagens, razão pela qual os prompts de exemplo para heróis de jogos, animais e paisagens são todos cinematográficos em vez de fotográficos. Os pesos carregam através do pipeline padrão Diffusers StableDiffusionPipeline, então você pode executá-lo localmente, no Colab ou dentro do Hugging Face Spaces sem uma API proprietária.

Artistas, entusiastas e desenvolvedores que experimentam conceitos de personagens usam mo-di-diffusion quando querem renderizações próximas ao estilo Disney sem encomendar treinamento personalizado do modelo. A ficha do modelo inclui código de exemplo em Python, links para demos Gradio e notas sobre opções de exportação ONNX, MPS e FLAX. É gratuito para download sob a licença CreativeML OpenRAIL-M com uso comercial permitido sujeito às restrições de danos da licença.