ArtBot vs Drag Your GAN

ArtBot est un client navigateur gratuit pour la génération d'images avec Stable Diffusion via AI Horde, un réseau distribué de GPU bénévoles. Vous ouvrez le site, écrivez une invite, choisissez parmi 154 modèles hébergés par la communauté, et obtenez des images sans installer de logiciel ni créer de compte. Tout fonctionne dans le navigateur, et vos créations sont stockées localement dans IndexedDB plutôt que sur les serveurs d'ArtBot.

La plupart des outils de génération d'images nécessitent soit un GPU local, soit vous facturent pour le calcul en cloud. ArtBot fait passer le travail par AI Horde, ce qui vous fait échanger les coûts matériels contre du temps d'attente. Cela le rend particulièrement pratique si vous souhaitez ControlNet, img2img, inpainting et peinture en direct dans une interface gratuite, sans vouloir exécuter Automatic1111 sur votre propre machine. Le compromis est que la vitesse et la fiabilité dépendent du nombre de travailleurs en ligne, et non d'un SLA fixe.

Il convient aux amateurs qui expérimentent avec des invites, aux artistes qui veulent accéder à Horde sans manipuler d'outils en ligne de commande, et aux contributeurs qui exploitent des GPU pour gagner des points de priorité dans la file d'attente. Dave Schumaker l'a créé comme projet annexe open source, et la page à propos indique plus de 40 millions d'images générées via le service.

Drag Your GAN vous permet de remodeler une image générée en déplaçant des points de contrôle vers des emplacements ciblés sur la toile. Plutôt que de s'entraîner sur des données de pose étiquetées ou des priorités 3D, DragGAN déplace les pixels à l'intérieur du domaine d'image d'un GAN préentraîné afin que les modifications restent photoréalistes même lorsque des régions occultées sont imaginées. La page du projet héberge l'article SIGGRAPH 2023, des clips de démonstration et des liens vers le code source ouvert.

La plupart des éditeurs GAN s'appuient sur des annotations d'entraînement fixes ou des maillages 3D, ce qui limite ce que vous pouvez déformer. DragGAN associe une supervision du mouvement basée sur les caractéristiques à un suivi discriminatif des points pour que les points de contrôle suivent votre curseur tout en restant à la surface de l'objet. Cela le rend utile pour ajuster les poses d'animaux, les expressions faciales, les angles de voiture et les agencements de paysage sans réentraîner le générateur.

Des chercheurs, étudiants en infographie et ingénieurs en vision par ordinateur l'utilisent pour prototyper des flux de travail d'édition d'image interactifs. La page de l'Institut Max Planck distribue le PDF de l'article et le dépôt GitHub sous une licence Creative Commons non commerciale, avec les coordonnées de l'auteur principal.