mo-di-diffusion on Hugging Face 对比 Dall-E 2

mo-di-diffusion 是一个在 Hugging Face 上微调的 Stable Diffusion 1.5 检查点，能够渲染具有现代动画电影风格的角色和场景。创作者 nitrosocke 使用 DreamBooth 对来自一家知名动画工作室的截图进行了训练，采用了先验保持损失和文本编码器训练，训练步数超过 9,000 步。将提示词中加入 modern disney style 令牌即可触发该美学效果。

通用的 SD 1.5 检查点旨在实现照片级真实感或广泛的插画风格。mo-di-diffusion 则专注于那种光滑的角色动画外观，这也是为什么游戏英雄、动物和风景的示例提示都偏向电影感而非摄影感。权重通过标准的 Diffusers StableDiffusionPipeline 加载，因此您可以在本地、Colab 或 Hugging Face Spaces 中运行，无需专有 API。

艺术家、爱好者和开发者在尝试角色概念时会使用 mo-di-diffusion，当他们希望获得类似迪士尼风格的渲染效果而不想委托定制模型训练时。模型卡附带 Python 示例代码、Gradio 演示链接，并注明了 ONNX、MPS 和 FLAX 导出选项。该模型可免费下载，采用 CreativeML OpenRAIL-M 许可证，允许商业使用，但需遵守许可证中的危害限制。

DALL-E 2 将文本提示转换为原创图像和艺术作品。您用简单的语言描述一个场景，模型将概念、属性和风格结合成一幅新图像。OpenAI 于 2022 年发布了该模型，其分辨率是原始 DALL-E 的四倍，评估者在 71.7% 的标题匹配测试和 88.8% 的照片真实感比较中更喜欢它胜过 DALL-E 1。

Midjourney 和 Stable Diffusion 面向爱好者社区，采用 Discord 或自托管工作流程。DALL-E 2 集成在 ChatGPT 中，面向休闲创作者，同时通过 OpenAI API 提供给需要程序化图像生成的开发者，配备内容过滤器以屏蔽暴力、仇恨、成人和政治提示，以及照片真实感的公开面孔。

设计师、市场人员和开发者使用 DALL-E 2 来模拟概念、为博客文章插图以及在无需拍摄的情况下制作视觉原型。产品页面现引导用户使用 ChatGPT 进行创作，而 Images API 继续为需要自动生成的团队提供包括 DALL-E 2 在内的更新模型。