Drag Your GAN vs Stable Diffusion

Drag Your GAN vous permet de remodeler une image générée en déplaçant des points de contrôle vers des emplacements ciblés sur la toile. Plutôt que de s'entraîner sur des données de pose étiquetées ou des priorités 3D, DragGAN déplace les pixels à l'intérieur du domaine d'image d'un GAN préentraîné afin que les modifications restent photoréalistes même lorsque des régions occultées sont imaginées. La page du projet héberge l'article SIGGRAPH 2023, des clips de démonstration et des liens vers le code source ouvert.

La plupart des éditeurs GAN s'appuient sur des annotations d'entraînement fixes ou des maillages 3D, ce qui limite ce que vous pouvez déformer. DragGAN associe une supervision du mouvement basée sur les caractéristiques à un suivi discriminatif des points pour que les points de contrôle suivent votre curseur tout en restant à la surface de l'objet. Cela le rend utile pour ajuster les poses d'animaux, les expressions faciales, les angles de voiture et les agencements de paysage sans réentraîner le générateur.

Des chercheurs, étudiants en infographie et ingénieurs en vision par ordinateur l'utilisent pour prototyper des flux de travail d'édition d'image interactifs. La page de l'Institut Max Planck distribue le PDF de l'article et le dépôt GitHub sous une licence Creative Commons non commerciale, avec les coordonnées de l'auteur principal.

Stable Diffusion est la famille de modèles de génération d'images à poids ouverts de Stability AI, désormais centrée sur Stable Diffusion 3.5 avec les variantes Large, Turbo et Medium. Le site stability.ai héberge également des modèles médias associés pour l'édition d'images, la vidéo, l'audio et la 3D, ainsi que Brand Studio pour la production créative conforme à la marque. Vous pouvez auto-héberger les poids, appeler l'API Stability AI ou utiliser des applications web telles que Stable Assistant.

La plupart des API d'images fermées ne servent les générations que via un point de terminaison hébergé. Stability AI publie toujours les poids des modèles que vous pouvez déployer sur votre propre infrastructure tout en vendant des outils gérés comme Brand Studio avec un entraînement spécifique à la marque et une édition précise. Stable Diffusion 3.5 Large vise une sortie professionnelle d'1 mégapixel, Turbo génère en quatre étapes, et Medium est optimisé pour le matériel grand public.

Il convient aux équipes créatives, aux studios de jeux et aux développeurs qui souhaitent à la fois des modèles ouverts et des contrôles d'entreprise. Brand Studio propose un essai gratuit avec 1 000 crédits, un plan Creator à 19 $ par mois avec 2 000 crédits, et un plan Core à 50 $ par mois avec 5 000 crédits. Stability AI mentionne des partenariats avec EA, Universal Music Group et HubSpot sur sa page d'accueil.