Lightricks vs InstructPix2Pix

Lightricks développe des outils mobiles et web pour les créateurs de photos et vidéos, soutenus par des modèles d'IA internes comme le générateur vidéo open-source LTX-2.3. Ses applications grand public incluent Facetune pour la retouche de portraits, Videoleap pour le montage vidéo sur téléphone, Photoleap pour la création d'images par IA, et LTX Studio pour la narration visuelle de bout en bout. Popular Pays met en relation les marques avec les créateurs pour des campagnes d'influenceurs.

Adobe et Canva ciblent les flux de travail sur ordinateur avec des suites complètes. Lightricks se concentre sur le montage prioritairement mobile et la vidéo générative, proposant rapidement des modèles ouverts que les développeurs peuvent déployer via API tout en intégrant la même technologie dans ses propres applications verticalement intégrées. L'entreprise rapporte 730 millions de téléchargements d'applications, 15 millions d'utilisateurs mensuels et 6,6 millions d'abonnés mensuels sur l'ensemble de son portefeuille.

Les créateurs occasionnels, influenceurs sur les réseaux sociaux et équipes marketing utilisent les applications Lightricks pour retoucher des selfies, monter des Reels et TikToks, transformer des images fixes en clips vidéo et gérer des partenariats avec des créateurs. Les applications individuelles sont gratuites à télécharger avec des options d'abonnement intégrées ; les équipes d'entreprise contactent Lightricks pour LTX Studio et Popular Pays.

InstructPix2Pix modifie une photo à partir d'une instruction en langage courant telle que « rendre le ciel orange au coucher du soleil » ou « transformer ceci en aquarelle ». Vous fournissez une image d'entrée et une commande textuelle courte, et le modèle renvoie une version modifiée en quelques secondes sans entraînement préalable sur cette photo spécifique. Il a été publié comme un Highlight CVPR 2023 par des chercheurs de l'UC Berkeley.

Les éditeurs basés sur des masques vous obligent à peindre des régions avant de modifier quoi que ce soit. InstructPix2Pix effectue un passage avant unique à partir du texte seul, évitant les étapes de fine-tuning ou d'inversion par image qui ralentissent d'autres workflows d'édition par diffusion. Le compromis apparaît dans les cas d'échec présentés dans l'article : les changements de point de vue, les échanges d'objets et les modifications locales précises restent des points faibles.

Le projet propose un code open source sur GitHub et un espace de démonstration Hugging Face pour tester les modifications dans un navigateur. L'entraînement a combiné GPT-3 et Stable Diffusion pour synthétiser des paires d'instructions, et le modèle publié se généralise aux photos réelles jusqu'à environ 768 pixels de large malgré une résolution d'entraînement de 256x256.