The Replace-background API of novita.ai vs Drag Your GAN

L'API Replace Background de Novita AI remplace l'arrière-plan d'une photo téléchargée par une nouvelle scène décrite dans une invite textuelle. Elle fait partie des Model APIs d'édition d'image de Novita, aux côtés des appels de suppression d'arrière-plan, de retouche et d'amélioration qui partagent la même plateforme api.novita.ai.

La plupart des outils d'arrière-plan fournissent un découpage vide ou une bibliothèque de modèles fixes. Le point de terminaison replace-background de Novita est piloté par invite, ce qui permet à la même intégration d'insérer un produit dans un entrepôt, un portrait dans un studio, ou un sujet dans n'importe quelle scène que vous décrivez, sans avoir à gérer des packs d'actifs séparés.

Les développeurs y accèdent via les API REST de Novita ou les SDK officiels Python et JavaScript après avoir créé une clé API dans la console. Les nouveaux comptes reçoivent un crédit de démarrage, les usages sont facturés sur un solde prépayé, et le playground Model API permet de tester les flux d'images avant de les intégrer dans du code de production.

Drag Your GAN vous permet de remodeler une image générée en déplaçant des points de contrôle vers des emplacements ciblés sur la toile. Plutôt que de s'entraîner sur des données de pose étiquetées ou des priorités 3D, DragGAN déplace les pixels à l'intérieur du domaine d'image d'un GAN préentraîné afin que les modifications restent photoréalistes même lorsque des régions occultées sont imaginées. La page du projet héberge l'article SIGGRAPH 2023, des clips de démonstration et des liens vers le code source ouvert.

La plupart des éditeurs GAN s'appuient sur des annotations d'entraînement fixes ou des maillages 3D, ce qui limite ce que vous pouvez déformer. DragGAN associe une supervision du mouvement basée sur les caractéristiques à un suivi discriminatif des points pour que les points de contrôle suivent votre curseur tout en restant à la surface de l'objet. Cela le rend utile pour ajuster les poses d'animaux, les expressions faciales, les angles de voiture et les agencements de paysage sans réentraîner le générateur.

Des chercheurs, étudiants en infographie et ingénieurs en vision par ordinateur l'utilisent pour prototyper des flux de travail d'édition d'image interactifs. La page de l'Institut Max Planck distribue le PDF de l'article et le dépôt GitHub sous une licence Creative Commons non commerciale, avec les coordonnées de l'auteur principal.