mo-di-diffusion on Hugging Face 对比 Drag Your GAN

mo-di-diffusion 是一个在 Hugging Face 上微调的 Stable Diffusion 1.5 检查点，能够渲染具有现代动画电影风格的角色和场景。创作者 nitrosocke 使用 DreamBooth 对来自一家知名动画工作室的截图进行了训练，采用了先验保持损失和文本编码器训练，训练步数超过 9,000 步。将提示词中加入 modern disney style 令牌即可触发该美学效果。

通用的 SD 1.5 检查点旨在实现照片级真实感或广泛的插画风格。mo-di-diffusion 则专注于那种光滑的角色动画外观，这也是为什么游戏英雄、动物和风景的示例提示都偏向电影感而非摄影感。权重通过标准的 Diffusers StableDiffusionPipeline 加载，因此您可以在本地、Colab 或 Hugging Face Spaces 中运行，无需专有 API。

艺术家、爱好者和开发者在尝试角色概念时会使用 mo-di-diffusion，当他们希望获得类似迪士尼风格的渲染效果而不想委托定制模型训练时。模型卡附带 Python 示例代码、Gradio 演示链接，并注明了 ONNX、MPS 和 FLAX 导出选项。该模型可免费下载，采用 CreativeML OpenRAIL-M 许可证，允许商业使用，但需遵守许可证中的危害限制。

在综合视觉内容以满足用户需求的领域中，对生成对象的姿势，形状，表达和布局进行精确控制至关重要。控制生成对抗网络（GAN）的传统方法在培训或先前的3D模型期间依赖手动注释，通常缺乏不同应用所需的灵活性，精度和多功能性。

在我们的研究中，我们探索了一种创新且相对未知的GAN控制方法 - 以交互式方式“拖动”特定图像点以精确达到用户定义的目标点的能力（如图1所示）。这种方法导致了Draggan的发展，Draggan是一个新的框架，其中包括两个核心组成部分：

基于功能的运动监督：此组件通过基于功能的运动监督将图像中的点指向其预期的目标位置。

点跟踪：利用歧视性GAN功能，我们的新点跟踪技术不断定位手柄点的位置。

德拉格（Draggan）使用户能够以显着的精度变形图像，从而使姿势，形状，表达和布局在各种类别（例如动物，汽车，人类，人类，景观等）中操纵。这些操作发生在gan的学到的生成图像歧管中，从而产生了现实的输出，即使在遵循对象的刚性的同时，在生成遮挡的内容和变形形状等复杂场景中也是如此。

我们的全面评估涵盖了定性和定量比较，突出了Draggan在与图像操作和点跟踪有关的任务中的现有方法的优越性。此外，我们证明了其在通过gan倒置操纵现实世界图像的能力，展示了其在视觉内容合成和控制领域中各种实际应用的潜力。