InstructPix2Pix vs Palette.fm

InstructPix2Pix edita uma foto a partir de uma instrução em linguagem simples, como "faça o céu ficar laranja de pôr do sol" ou "transforme isso em uma aquarela." Você fornece uma imagem de entrada e um comando de texto curto, e o modelo retorna uma versão editada em segundos sem precisar treinar nessa foto específica antes. Foi publicado como um Destaque do CVPR 2023 por pesquisadores da UC Berkeley.

Editores baseados em máscara exigem que você pinte regiões antes de alterar qualquer coisa. InstructPix2Pix executa uma única passagem direta apenas a partir do texto, pulando etapas de ajuste fino ou inversão por imagem que retardam outros fluxos de trabalho de edição por difusão. A compensação aparece nos casos de falha do artigo: mudanças de ponto de vista, troca de objetos e edições locais precisas continuam sendo pontos fracos.

O projeto disponibiliza código open source no GitHub e um espaço de demonstração no Hugging Face para testar edições no navegador. O treinamento combinou GPT-3 e Stable Diffusion para sintetizar pares de instruções, e o modelo lançado generaliza para fotos reais de até cerca de 768 pixels de largura, apesar da resolução de treinamento de 256x256.

Palette.fm colore fotos em preto e branco por meio de um fluxo de upload no navegador com mais de 21 predefinições de filtros e ajustes de cor baseados em palavras-chave. Faça o upload de uma imagem, escolha um filtro, ajuste as palavras-chave descritivas se necessário e depois baixe um resultado em resolução total ou continue iterando em prévias. O fluxo de edição de fotos é voltado para historiadores familiares, fotógrafos e criadores que restauram impressões antigas sem abrir o Photoshop.

A maioria dos colorizadores tende a usar tons pesados de sépia e púrpura com pouca margem para ajustar tons de pele ou cores de tecidos. Palette.fm permite que você clique em um filtro e depois ajuste finamente os matizes por meio de palavras-chave em linguagem simples, e oferece pacotes de créditos avulsos além das assinaturas. As prévias gratuitas têm limite de 500x500 pixels com marca d'água, enquanto os créditos pagos removem o logo e suportam arquivos de até 5000x5000 pixels.

Pesquisadores de genealogia, arquivistas fotográficos e educadores do YouTube usam Palette.fm para testar em lote diferentes estilos de cor antes de usar créditos. O site informa 54 milhões de fotos colorizadas e 6,6 milhões de usuários registrados, com uma opção de API para equipes que desejam acesso programático.