Última atualização 07-01-2026
Categoria:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
Omost
Omost é um projeto de pesquisa de código aberto que transforma habilidades de codificação de grandes modelos de linguagem em composição de imagens estruturada. Você descreve uma cena em linguagem simples, e um LLM ajustado escreve Python que organiza elementos globais e regionais em uma tela virtual. Um renderizador de difusão então transforma esse layout em uma imagem final.
A abordagem trata a construção de cenas como programação: o modelo chama métodos como set_global_description e add_local_description para posicionar assuntos com dicas de localização, tamanho, profundidade e cor. Essa estrutura fornece aos modelos de difusão uma orientação consciente da região, em vez de depender de um único prompt plano.
Você pode executar o Omost localmente com um aplicativo Gradio ou experimentar a demonstração hospedada vinculada ao repositório. Ele é direcionado para pesquisadores, engenheiros de ML e desenvolvedores de geração de imagens que desejam um controle mais preciso sobre composições com múltiplos assuntos em pipelines estilo Stable Diffusion.
Modelos LLM ajustados escrevem código Python Canvas a partir do seu prompt de texto
Posicione sujeitos com localização, deslocamento, área, profundidade e nomes de cores HTML
Troque elementos de forma conversacional, como mudar um dragão para um dinossauro no meio da sessão
Três famílias de modelos pré-treinados baseadas nas variantes Llama 3 e Phi-3
Inclui um renderizador de difusão consciente de região básico usando manipulação de atenção
Execute localmente via Gradio com 8GB de VRAM Nvidia, ou use o espaço HuggingFace vinculado
Open source sob a licença Apache 2.0 com instruções completas para implantação local no GitHub.
O código Canvas sensível à região oferece um controle mais detalhado de múltiplos assuntos do que um único prompt de texto.
A edição conversacional permite refinar composições antes da renderização.
As variantes de modelo quantizado cabem em 8GB de VRAM sem a necessidade de descarregamento.
A configuração local requer uma GPU Nvidia com pelo menos 8GB de VRAM.
A atividade do repositório diminuiu após meados de 2024; os últimos commits na branch principal têm cerca de dois anos.
O espaço de demonstração vinculado no HuggingFace pode não carregar devido a incompatibilidades de versões das dependências.
O Omost é gratuito para usar?
Sim. O Omost é open source sob a licença Apache 2.0 no GitHub. Você pode clonar o repositório, executá-lo localmente ou usar o espaço oficial no HuggingFace vinculado no README sem nenhum custo.
Qual hardware o Omost precisa para executar localmente?
A implantação local requer cerca de 8GB de VRAM Nvidia. O README recomenda Python 3.10, PyTorch com CUDA 12.1 e as dependências fixadas no requirements.txt. Modelos quantizados são fornecidos para GPUs com memória limitada.
Quais modelos LLM o Omost suporta?
O Omost oferece três famílias de modelos pré-treinados no HuggingFace: omost-llama-3-8b, omost-dolphin-2.9-llama3-8b e omost-phi-3-mini-128k, cada um com variantes quantizadas. O README recomenda omost-llama-3-8b-4bits para a maioria dos usuários.
Posso editar uma cena após o prompt inicial no Omost?
Sim. O Omost suporta edição conversacional: você pode pedir ao modelo para alterar elementos específicos no código Canvas, como substituir um sujeito por outro, e então renderizar a composição atualizada quando estiver satisfeito.
Como o Omost difere de um prompt padrão de texto para imagem?
Ao invés de uma única string de prompt, o Omost gera código Canvas estruturado com descrições globais e locais separadas, regiões espaciais e ordenação de profundidade. Um renderizador de difusão personalizado usa essas regiões para guiar a atenção durante a geração da imagem.
Onde posso experimentar o Omost sem instalá-lo?
O README do Omost no GitHub inclui um link para um espaço oficial no HuggingFace com demos baseadas no navegador. A configuração local também está documentada com conda, pip e um ponto de entrada gradio_app.py.