Immersity (formerly LeiaPix Converter) vs Text-To-4D

Immersity, anciennement LeiaPix Converter, transforme des photos et vidéos plates en animations de profondeur visualisables sur un écran normal ou un casque XR. Vous téléchargez un fichier 2D, le moteur Neural Depth Engine crée une carte de profondeur, et vous exportez des formats tels que la 3D côte à côte, des cartes de profondeur, de la vidéo spatiale pour Apple Vision Pro ou des clips animés Immersive Motion.

Les applications de photos 3D génériques s'arrêtent souvent à une simple oscillation de parallaxe. Immersity sépare l'avant-plan et l'arrière-plan en calques distincts grâce au Neural Depth Rendering 4.0, qui comble les détails masqués lorsque vous effectuez un panoramique ou un zoom sur le point de vue. Il convertit également la vidéo, et pas seulement les images fixes, avec des options d'exportation allant jusqu'à 4K sur les forfaits payants.

Créateurs, spécialistes du marketing et passionnés de XR l'utilisent pour des clips sur les réseaux sociaux, des séquences de voyage et du contenu stéréoscopique sans avoir à créer de cartes de profondeur à la main. L'offre gratuite permet des conversions illimitées avec filigrane jusqu'à 720p ; les forfaits d'images payants commencent à $4.99 par mois pour 500 crédits et une sortie en 4K sans filigrane.

Text-To-4D est un projet de recherche de Meta AI (MAV3D) qui génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles. La méthode utilise un Neural Radiance Field dynamique en 4D optimisé pour la cohérence d'apparence, de densité et de mouvement en interrogeant un modèle de diffusion texte-vidéo.

Contrairement aux générateurs 3D statiques qui produisent un seul maillage, Text-To-4D crée des scènes que l'on peut visualiser sous n'importe quel angle de caméra et intégrer dans d'autres environnements 3D. L'approche ne nécessite pas de données d'entraînement 3D ou 4D ; le modèle texte-vidéo sous-jacent est entraîné uniquement sur des paires texte-image et des vidéos non étiquetées.

La page du projet propose des exemples de démonstration pour des invites texte-vers-4D comme « un corgi jouant avec une balle » et des conversions image-vers-4D à partir de photos fixes. Il s'agit d'une vitrine de recherche, non d'un produit commercial avec une API publique ou une inscription. Les chercheurs et artistes 3D intéressés par la génération de scènes dynamiques basées sur NeRF peuvent consulter l'article et les exemples sur le site.