最后更新 07-01-2026
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Omost
Omost 是一个开源研究项目，将大型语言模型的编码技能转化为结构化的图像构图。你用简单的语言描述一个场景，经过微调的大型语言模型会写出Python代码，在虚拟画布上布局全局和区域元素。然后，扩散渲染器将这种布局转化为一幅完成的图像。
这种方法将场景构建视为编程：模型调用诸如 set_global_description 和 add_local_description 之类的方法来放置主角，提供位置、大小、深度和颜色提示。这种结构为扩散模型提供了区域感知的引导，而不是单一的平面提示。
你可以在本地通过Gradio应用运行Omost，或尝试从仓库链接的托管演示。它面向研究人员、ML工程师和图像生成开发者，特别是那些希望在Stable Diffusion风格的流程中实现更精细多主题构图控制的人群。
微调的LLM根据您的文本提示编写Python Canvas代码
通过位置、偏移、区域、深度和HTML颜色名称放置对象
以对话方式交换元素，如在会话中将龙换成恐龙
三个基于Llama 3和Phi-3变体的预训练模型系列
配备基于注意力操控的基础区域感知扩散渲染器
通过Gradio在本地运行，需8GB Nvidia显存，或使用关联的HuggingFace空间
开源于 Apache 2.0，GitHub 上提供完整的本地部署说明。
支持区域感知的 Canvas 代码比单一文本提示提供更细致的多主题控制。
对话式编辑让您在渲染前细化创作内容。
量化模型版本可在 8GB 显存内运行，无需卸载。
本地设置需要配备至少8GB显存的Nvidia GPU。
仓库活跃度在2024年中后期开始减缓；主分支的最新提交已有大约两年历史。
由于依赖版本不匹配，所链接的 HuggingFace 演示空间可能无法加载。
Omost 是免费使用的吗？
是的。Omost 在 GitHub 上以 Apache 2.0 许可证开源。您可以克隆仓库，本地运行，或者使用 README 中链接的官方 HuggingFace 空间，均无需付费。
本地运行 Omost 需要什么硬件？
本地部署大约需要 8GB 的 Nvidia 显存。README 推荐使用 Python 3.10、支持 CUDA 12.1 的 PyTorch 以及 requirements.txt 中固定的依赖。对于显存有限的 GPU，也提供了量化模型。
Omost 支持哪些大型语言模型（LLM）？
Omost 在 HuggingFace 上提供了三大家族的预训练模型：omost-llama-3-8b、omost-dolphin-2.9-llama3-8b 和 omost-phi-3-mini-128k，每个都有量化版本。README 推荐大多数用户使用 omost-llama-3-8b-4bits。
Omost 中可以在初始提示后编辑场景吗？
可以。Omost 支持对话式编辑：您可以让模型更改 Canvas 代码中特定元素，例如将一个主体替换为另一个，然后在满意时渲染更新后的作品。
Omost 与标准的文本到图像提示有何不同？
Omost 不只是一个提示字符串，而是生成结构化的 Canvas 代码，包含全局和局部描述、空间区域以及深度顺序。自定义的扩散渲染器会利用这些区域在图像生成时引导注意力。
我在哪里可以不安装直接试用 Omost？
Omost GitHub 仓库 README 提供了官方 HuggingFace 空间的链接，可在浏览器中试玩。README 也记录了使用 conda、pip 及 gradio_app.py 入口的本地安装方法。