mo-di-diffusion on Hugging Face 对比 Drag Your GAN

mo-di-diffusion 是一个在 Hugging Face 上微调的 Stable Diffusion 1.5 检查点，能够渲染具有现代动画电影风格的角色和场景。创作者 nitrosocke 使用 DreamBooth 对来自一家知名动画工作室的截图进行了训练，采用了先验保持损失和文本编码器训练，训练步数超过 9,000 步。将提示词中加入 modern disney style 令牌即可触发该美学效果。

通用的 SD 1.5 检查点旨在实现照片级真实感或广泛的插画风格。mo-di-diffusion 则专注于那种光滑的角色动画外观，这也是为什么游戏英雄、动物和风景的示例提示都偏向电影感而非摄影感。权重通过标准的 Diffusers StableDiffusionPipeline 加载，因此您可以在本地、Colab 或 Hugging Face Spaces 中运行，无需专有 API。

艺术家、爱好者和开发者在尝试角色概念时会使用 mo-di-diffusion，当他们希望获得类似迪士尼风格的渲染效果而不想委托定制模型训练时。模型卡附带 Python 示例代码、Gradio 演示链接，并注明了 ONNX、MPS 和 FLAX 导出选项。该模型可免费下载，采用 CreativeML OpenRAIL-M 许可证，允许商业使用，但需遵守许可证中的危害限制。

Drag Your GAN 允许你通过拖动控制点到画布上的目标位置来重塑生成的图像。DragGAN 不依赖于带标签的姿势数据或三维先验，而是在预训练的 GAN 图像流形内移动像素，因此即使遮挡区域被虚构，编辑仍保持照片级真实感。项目页面提供了 SIGGRAPH 2023 论文、演示视频和开源代码链接。

大多数 GAN 编辑器依赖固定的训练标注或三维网格，这限制了可变形的内容。DragGAN 结合基于特征的运动监督和判别点跟踪，使控制点在保持在物体表面的同时跟随光标移动。这使其适用于调整动物姿势、面部表情、汽车角度和景观布局，无需重新训练生成器。

研究人员、图形学学生和计算机视觉工程师使用它来原型交互式图像编辑工作流程。马克斯·普朗克研究所页面提供论文 PDF 和 GitHub 仓库，采用非商业性知识共享许可，并附有通讯作者的联系方式。