Waifu-diffusion on Hugging Face 对比 Drag Your GAN

Waifu-diffusion on Hugging Face 可通过在高质量动漫艺术作品上微调的 Stable Diffusion 模型，将文本提示词转换为动漫风格的图像。你可以使用 Python 中的 Diffusers 库加载 hakurei/waifu-diffusion，输入提示词，即可生成图像。模型卡片包含适用于 CUDA、Apple MPS、Google Colab 以及 Draw Things 和 DiffusionBee 等本地应用程序的即用型代码。

与通用 Stable Diffusion 检查点相比，该模型专门针对动漫美学进行调整，而不是追求逼真。这种专注使其成为同人艺术、角色概念和风格化插图的常用基础，而通用 SD 模型通常需要更多提示词才能保持动漫风格。v1.4 权重采用 CreativeML OpenRAIL-M 许可证发布，在 Hugging Face 上拥有 2,500+ 个社区点赞以及上个月约 1,166 次下载。

该模型拥有 0.9 billion 个参数，采用 Safetensors 格式，并可与 Diffusers 中的 StableDiffusionPipeline 一起使用。创作者可以对其进行微调或进一步调整，Hugging Face 模型树中列出了四个适配器模型、两个微调模型和一个量化模型。

Waifu-diffusion 适合想要进行动漫图像生成的插画师、爱好者和开发人员，他们可以在本地或笔记本中运行，无需从头开始构建模型。

Drag Your GAN 允许你通过拖动控制点到画布上的目标位置来重塑生成的图像。DragGAN 不依赖于带标签的姿势数据或三维先验，而是在预训练的 GAN 图像流形内移动像素，因此即使遮挡区域被虚构，编辑仍保持照片级真实感。项目页面提供了 SIGGRAPH 2023 论文、演示视频和开源代码链接。

大多数 GAN 编辑器依赖固定的训练标注或三维网格，这限制了可变形的内容。DragGAN 结合基于特征的运动监督和判别点跟踪，使控制点在保持在物体表面的同时跟随光标移动。这使其适用于调整动物姿势、面部表情、汽车角度和景观布局，无需重新训练生成器。

研究人员、图形学学生和计算机视觉工程师使用它来原型交互式图像编辑工作流程。马克斯·普朗克研究所页面提供论文 PDF 和 GitHub 仓库，采用非商业性知识共享许可，并附有通讯作者的联系方式。