Drag Your GAN vs Dall-E 2

Drag Your GAN vous permet de remodeler une image générée en déplaçant des points de contrôle vers des emplacements ciblés sur la toile. Plutôt que de s'entraîner sur des données de pose étiquetées ou des priorités 3D, DragGAN déplace les pixels à l'intérieur du domaine d'image d'un GAN préentraîné afin que les modifications restent photoréalistes même lorsque des régions occultées sont imaginées. La page du projet héberge l'article SIGGRAPH 2023, des clips de démonstration et des liens vers le code source ouvert.

La plupart des éditeurs GAN s'appuient sur des annotations d'entraînement fixes ou des maillages 3D, ce qui limite ce que vous pouvez déformer. DragGAN associe une supervision du mouvement basée sur les caractéristiques à un suivi discriminatif des points pour que les points de contrôle suivent votre curseur tout en restant à la surface de l'objet. Cela le rend utile pour ajuster les poses d'animaux, les expressions faciales, les angles de voiture et les agencements de paysage sans réentraîner le générateur.

Des chercheurs, étudiants en infographie et ingénieurs en vision par ordinateur l'utilisent pour prototyper des flux de travail d'édition d'image interactifs. La page de l'Institut Max Planck distribue le PDF de l'article et le dépôt GitHub sous une licence Creative Commons non commerciale, avec les coordonnées de l'auteur principal.

DALL-E 2 transforme des descriptions textuelles en images et œuvres d'art originales. Vous décrivez une scène en langage courant, et le modèle combine concepts, attributs et styles pour créer une nouvelle image. OpenAI l'a lancé en 2022 avec une résolution quatre fois supérieure à celle du DALL-E original, et les évaluateurs l'ont préféré à DALL-E 1 dans 71,7 % des tests de correspondance de légendes et 88,8 % des comparaisons de photoréalisme.

Midjourney et Stable Diffusion ciblent les communautés de passionnés avec des flux de travail sur Discord ou auto-hébergés. DALL-E 2 est intégré à ChatGPT pour les créateurs occasionnels et accessible via l'API OpenAI pour les développeurs qui ont besoin d'une génération d'images programmée avec des filtres de contenu bloquant les requêtes violentes, haineuses, adultes et politiques ainsi que les visages publics photoréalistes.

Les designers, marketeurs et développeurs utilisent DALL-E 2 pour concevoir des concepts, illustrer des articles de blog et prototyper des visuels sans séance photo. La page produit oriente désormais les utilisateurs vers ChatGPT pour la création, tandis que l'API Images continue de proposer des modèles plus récents aux côtés de DALL-E 2 pour les équipes nécessitant une génération automatisée.