Apera AI vs Text-To-4D

Apera AI vend des logiciels et du matériel 4D Vision qui guident les robots industriels dans des tâches de prélèvement en bac, d'assemblage, de surveillance de machines, de tri et d'emballage. Sa plateforme de vision robotique Vue combine des paires de caméras 2D en un modèle de scène 3D, puis exécute des réseaux neuronaux propriétaires pour sélectionner la pièce la plus saisissable et envoyer des plans de trajectoire au contrôleur du robot en seulement 0,3 seconde.

La vision machine traditionnelle nécessite souvent des photos de référence ou échoue sur des pièces brillantes, transparentes ou empilées de manière aléatoire. Apera AI entraîne les objets à partir de modèles CAO ou de scans 3D en utilisant des données synthétiques, vise une fiabilité de 99,99 % avant livraison, et gère les pièces claires, translucides et réfléchissantes sous un éclairage lumineux, sombre ou extérieur. Un ordinateur Vue peut gérer jusqu'à quatre paires de caméras, et la mise en service après formation nécessite environ 15 minutes de calibration.

L'entreprise cible les usines automobiles, de dispositifs médicaux et de fabrication métallique ainsi que les intégrateurs de systèmes qui construisent leurs cellules. Les projets suivent un processus en quatre étapes : Définition, Conception, Installation et Support avec des partenaires certifiés, une garantie de remboursement basée sur les spécifications des programmes de vision, et un engagement de rappel de support sous 30 minutes pendant les heures ouvrables.

Text-To-4D est un projet de recherche de Meta AI (MAV3D) qui génère des scènes dynamiques tridimensionnelles à partir de descriptions textuelles. La méthode utilise un Neural Radiance Field dynamique en 4D optimisé pour la cohérence d'apparence, de densité et de mouvement en interrogeant un modèle de diffusion texte-vidéo.

Contrairement aux générateurs 3D statiques qui produisent un seul maillage, Text-To-4D crée des scènes que l'on peut visualiser sous n'importe quel angle de caméra et intégrer dans d'autres environnements 3D. L'approche ne nécessite pas de données d'entraînement 3D ou 4D ; le modèle texte-vidéo sous-jacent est entraîné uniquement sur des paires texte-image et des vidéos non étiquetées.

La page du projet propose des exemples de démonstration pour des invites texte-vers-4D comme « un corgi jouant avec une balle » et des conversions image-vers-4D à partir de photos fixes. Il s'agit d'une vitrine de recherche, non d'un produit commercial avec une API publique ou une inscription. Les chercheurs et artistes 3D intéressés par la génération de scènes dynamiques basées sur NeRF peuvent consulter l'article et les exemples sur le site.