GET3D | Nvidia vs Ava

GET3D génère des modèles 3D texturés que vous pouvez intégrer directement dans un moteur de rendu, entraîné uniquement à partir de collections d'images 2D. Les chercheurs de NVIDIA l'ont conçu pour produire des maillages explicites avec géométrie et texture, et non des champs de radiance neuronale nécessitant des moteurs de rendu personnalisés.

La plupart des modèles génératifs 3D à l'époque omettaient les textures, imposaient une topologie fixe ou nécessitaient des pipelines de rendu neuronal pour visualiser les résultats. GET3D utilise la méthode différentiable des tétraèdres marchants (DMTet) ainsi que des pertes adversariales sur des images RGB rasterisées et des silhouettes, ce qui donne en sortie un maillage texturé standard. Le compromis est un accès de niveau recherche : il s'agit d'un projet du laboratoire d'IA NVIDIA Toronto présenté à NeurIPS 2022, et non d'un SaaS hébergé avec un bouton de téléchargement.

Le modèle prend en charge les voitures, chaises, animaux, motos, personnages humains et bâtiments. Il supporte également la génération de formes guidée par texte via un affinage basé sur CLIP, similaire à StyleGAN-NADA, et peut dissocier la géométrie de la texture grâce à des codes latents séparés.

Ava transforme les conversations orales en sous-titres en temps réel sur votre téléphone, ordinateur ou navigateur. Les utilisateurs sourds et malentendants bénéficient d’un texte en temps réel pour les appels vidéo, les cours, les visites médicales et les discussions en personne. Le service combine la reconnaissance automatique de la parole avec des scribes humains optionnels lorsque la réunion nécessite une précision conforme à l’ADA.

La plupart des applications de sous-titrage s’arrêtent à la précision fournie par le modèle vocal. Ava vous permet de rester sur des sous-titres IA gratuits ou peu coûteux pour un usage quotidien, puis d’ajouter un scribe professionnel pour une précision de 99 % lorsque les enjeux sont plus élevés. Ava Connect intègre les sous-titres dans Zoom, Google Meet ou Teams sans reconstruire votre flux de réunion autour d’une seule plateforme.

Étudiants, employeurs, cliniques et organisateurs d’événements utilisent Ava pour sous-titrer les cours, réunions debout, séances de télésanté et conférences en salle. Les plans individuels commencent gratuitement avec des sessions de 40 minutes ; les organisations peuvent ajouter des dictionnaires personnalisés, SSO et du temps de scribe programmé.