TextUnbox vs Drag Your GAN

TextUnbox exécute la reconnaissance optique de caractères (OCR) sur documents imprimés et manuscrits, la génération d'images DALL-E, la conversion de la parole en texte, la traduction et la suppression d'arrière-plan depuis un portail web unique et une API REST partagée. Téléchargez ou collez une image dans le navigateur pour extraire du texte, générer des visuels à partir d'une invite textuelle ou d'un enregistrement vocal, transcrire un audio WAV ou supprimer l'arrière-plan d'une photo. Une seule clé de licence débloque toutes les applications navigateur et points de terminaison API, avec un comptage d'utilisation basé sur chaque opération réussie plutôt que par siège mensuel.

La plupart des outils OCR s'arrêtent à l'extraction de texte, et la plupart des générateurs d'images ignorent complètement la numérisation de documents. TextUnbox associe ces deux flux de travail au même pool d'unités prépayées, permettant à une équipe de numériser un lot de reçus et de créer des visuels marketing sans souscrire à des abonnements distincts. L'API REST accessible via hello.textunbox.app accepte les téléchargements d'images multipart et les invites JSON, avec des spécifications OpenAPI et des collections Postman publiées sur le site de documentation.

Les développeurs construisant des pipelines documentaires, des applications de capture mobile ou des automatisations internes peuvent appeler des points de terminaison HTTPS standardisés avec un en-tête x-textunbox-licensekey. Les utilisateurs occasionnels bénéficient des mêmes fonctionnalités via des pages navigateur responsives, incluant le collage depuis le presse-papiers pour des scans rapides. Des clés d'essai gratuites sont disponibles par email sans carte bancaire, bien que l'utilisation continue nécessite l'achat d'unités d'extraction prépayées via Gumroad.

Dans le domaine de la synthèse de contenu visuel pour répondre aux besoins des utilisateurs, il est essentiel d'obtenir un contrôle précis sur la pose, la forme, l'expression et la disposition des objets générés. Les approches traditionnelles de contrôle des réseaux adverses génératifs (GAN) reposaient sur des annotations manuelles lors de la formation ou sur des modèles 3D préalables, manquant souvent de la flexibilité, de la précision et de la polyvalence requises pour diverses applications.

Dans notre recherche, nous explorons une méthode innovante et relativement inexplorée pour le contrôle du GAN : la possibilité de « faire glisser » des points d'image spécifiques pour atteindre avec précision des points cibles définis par l'utilisateur de manière interactive (comme illustré sur la figure 1). Cette approche a conduit au développement de DragGAN, un nouveau framework comprenant deux composants principaux :

Supervision de mouvement basée sur les fonctionnalités : ce composant guide les points de poignée dans l'image vers leurs positions cibles prévues grâce à une supervision de mouvement basée sur les fonctionnalités.

Suivi des points : tirant parti des fonctionnalités discriminantes du GAN, notre nouvelle technique de suivi des points localise en permanence la position des points de poignée.

DragGAN permet aux utilisateurs de déformer les images avec une précision remarquable, permettant ainsi la manipulation de la pose, de la forme, de l'expression et de la disposition dans diverses catégories telles que les animaux, les voitures, les humains, les paysages, etc. Ces manipulations ont lieu au sein de la variété d'images génératives apprises d'un GAN, ce qui donne des résultats réalistes, même dans des scénarios complexes tels que la génération de contenu occlus et la déformation de formes tout en adhérant à la rigidité de l'objet.

Nos évaluations complètes, comprenant des comparaisons qualitatives et quantitatives, mettent en évidence la supériorité de DragGAN sur les méthodes existantes dans les tâches liées à la manipulation d'images et au suivi de points. De plus, nous démontrons ses capacités à manipuler des images du monde réel via l'inversion GAN, démontrant ainsi son potentiel pour diverses applications pratiques dans le domaine de la synthèse et du contrôle de contenu visuel.