Dernière mise à jour 08-20-2026
Catégorie:
Reviews:
Join thousands of AI enthusiasts in the World of AI!
InstructPix2Pix
InstructPix2Pix modifie une photo à partir d'une instruction en langage courant telle que « rendre le ciel orange au coucher du soleil » ou « transformer ceci en aquarelle ». Vous fournissez une image d'entrée et une commande textuelle courte, et le modèle renvoie une version modifiée en quelques secondes sans entraînement préalable sur cette photo spécifique. Il a été publié comme un Highlight CVPR 2023 par des chercheurs de l'UC Berkeley.
Les éditeurs basés sur des masques vous obligent à peindre des régions avant de modifier quoi que ce soit. InstructPix2Pix effectue un passage avant unique à partir du texte seul, évitant les étapes de fine-tuning ou d'inversion par image qui ralentissent d'autres workflows d'édition par diffusion. Le compromis apparaît dans les cas d'échec présentés dans l'article : les changements de point de vue, les échanges d'objets et les modifications locales précises restent des points faibles.
Le projet propose un code open source sur GitHub et un espace de démonstration Hugging Face pour tester les modifications dans un navigateur. L'entraînement a combiné GPT-3 et Stable Diffusion pour synthétiser des paires d'instructions, et le modèle publié se généralise aux photos réelles jusqu'à environ 768 pixels de large malgré une résolution d'entraînement de 256x256.
Modifier une image téléchargée à partir d'une instruction écrite sans masquage manuel ni réglage fin par image
Effectue des modifications en un passage direct et renvoie les résultats en secondes plutôt qu'en minutes d'inversion
Se généralise aux photos réelles jusqu'à environ 768 pixels de large malgré une résolution d'entraînement de 256x256
Code open source sur github.com/timothybrooks/instruct-pix2pix avec un espace de démonstration Hugging Face
Permet des instructions en chaîne où plusieurs modifications séquentielles se cumulent sur la même photo
Modifie les photos à partir d'instructions textuelles sans dessiner de masques ni ajustements fins sur chaque image
La version open source avec une démo gratuite sur Hugging Face réduit la barrière pour tester les modifications
L'inférence en un passage direct termine les modifications en secondes sur des configurations matérielles grand public
Ne peut pas changer de manière fiable le point de vue de la caméra ou échanger des objets dans une scène
Applique parfois des changements plus larges que ce que l'instruction visait
Le site du projet est une page de recherche, pas un éditeur hébergé avec un support produit continu
Qu'est-ce que InstructPix2Pix ?
InstructPix2Pix est un modèle de diffusion conditionnelle qui modifie des images à partir d'instructions écrites par des humains. InstructPix2Pix prend une photo en entrée ainsi qu'une commande textuelle et renvoie une image modifiée en quelques secondes.
Est-ce que InstructPix2Pix est gratuit ?
Oui. InstructPix2Pix est une version de recherche gratuite avec un code source ouvert sur GitHub et une démo publique sur Hugging Face. InstructPix2Pix ne propose pas d'abonnement payant ni de page tarifaire commerciale sur son site de projet.
Comment fonctionne InstructPix2Pix ?
InstructPix2Pix a été entraîné sur des paires d'édition d'images générées en combinant GPT-3 et Stable Diffusion. Lors de l'inférence, InstructPix2Pix suit votre instruction écrite en un seul passage avant sans ajustement fin par exemple.
Où puis-je essayer InstructPix2Pix ?
Vous pouvez utiliser InstructPix2Pix dans l'espace Hugging Face à timbrooks/instruct-pix2pix ou télécharger le code depuis GitHub. InstructPix2Pix fournit les deux liens depuis sa page d'accueil du projet.
Quelles sont les limites de InstructPix2Pix ?
InstructPix2Pix a des difficultés avec les changements de point de vue, les modifications involontaires excessives, l'isolation d'objets spécifiques et l'échange d'objets dans une scène. InstructPix2Pix documente ces modes d'échec sur sa page de résultats.
Qui a créé InstructPix2Pix ?
InstructPix2Pix a été créé par Tim Brooks, Aleksander Holynski et Alexei A. Efros à l'UC Berkeley. InstructPix2Pix est apparu comme un article phare CVPR 2023 avec des liens vers le code et la démo sur le site du projet.