InstructPix2Pix vs Palette.fm

InstructPix2Pix modifie une photo à partir d'une instruction en langage courant telle que « rendre le ciel orange au coucher du soleil » ou « transformer ceci en aquarelle ». Vous fournissez une image d'entrée et une commande textuelle courte, et le modèle renvoie une version modifiée en quelques secondes sans entraînement préalable sur cette photo spécifique. Il a été publié comme un Highlight CVPR 2023 par des chercheurs de l'UC Berkeley.

Les éditeurs basés sur des masques vous obligent à peindre des régions avant de modifier quoi que ce soit. InstructPix2Pix effectue un passage avant unique à partir du texte seul, évitant les étapes de fine-tuning ou d'inversion par image qui ralentissent d'autres workflows d'édition par diffusion. Le compromis apparaît dans les cas d'échec présentés dans l'article : les changements de point de vue, les échanges d'objets et les modifications locales précises restent des points faibles.

Le projet propose un code open source sur GitHub et un espace de démonstration Hugging Face pour tester les modifications dans un navigateur. L'entraînement a combiné GPT-3 et Stable Diffusion pour synthétiser des paires d'instructions, et le modèle publié se généralise aux photos réelles jusqu'à environ 768 pixels de large malgré une résolution d'entraînement de 256x256.

Palette.fm colorise des photos en noir et blanc via un processus de téléchargement dans le navigateur avec plus de 21 préréglages de filtres et des ajustements de couleurs basés sur des mots-clés. Téléchargez une image, choisissez un filtre, ajustez les mots-clés descriptifs si nécessaire, puis téléchargez un résultat en pleine résolution ou continuez à itérer sur les aperçus. Le flux de travail d'édition photo s'adresse aux historiens familiaux, photographes et créateurs qui restaurent de vieux tirages sans ouvrir Photoshop.

La plupart des colorisateurs utilisent des teintes sépia et violettes prononcées avec peu de possibilités de modifier les tons de peau ou les couleurs des tissus. Palette.fm vous permet de cliquer sur un filtre puis d'affiner les teintes via des mots-clés en langage simple, et propose des packs de crédits à l'achat unique en plus des abonnements. Les aperçus gratuits sont limités à 500x500 pixels avec un filigrane, tandis que les crédits payants suppriment le logo et prennent en charge des fichiers jusqu'à 5000x5000 pixels.

Les chercheurs en généalogie, archivistes photo et éducateurs YouTube utilisent Palette.fm pour tester en lot des styles de couleur avant d'engager des crédits. Le site rapporte 54 millions de photos colorisées et 6,6 millions d'utilisateurs enregistrés, avec une option API pour les équipes souhaitant un accès programmatique.