Immersity (formerly LeiaPix Converter) vs Text-To-4D

Immersity, antes LeiaPix Converter, convierte fotos y vídeos planos en animaciones de profundidad que puedes ver en una pantalla normal o en unos auriculares XR. Subes un archivo 2D, el Neural Depth Engine crea un mapa de profundidad y exportas formatos como 3D lado a lado, mapas de profundidad, vídeo espacial para Apple Vision Pro o clips animados de Immersive Motion.

Las aplicaciones genéricas de fotos en 3D suelen limitarse a un simple movimiento de paralaje. Immersity separa el primer plano y el fondo en capas distintas con Neural Depth Rendering 4.0, que completa los detalles ocultos al desplazar o acercar la vista. También convierte vídeo, no solo imágenes fijas, con opciones de exportación de hasta 4K en los planes de pago.

Creadores, profesionales del marketing y aficionados a la XR lo utilizan para clips sociales, metraje de viajes y contenido estereoscópico sin tener que crear mapas de profundidad a mano. El nivel gratuito permite conversiones ilimitadas con marca de agua de hasta 720p; los planes de imágenes de pago empiezan en $4.99 al mes por 500 créditos y salida en 4K sin marcas de agua.

Text-To-4D, también conocido como MAV3D (Make-A-Video3D), genera escenas dinámicas tridimensionales a partir de descripciones de texto simples. Utiliza un campo de radiación neural dinámico de 4D (NeRF) optimizado para mantener la apariencia, densidad y movimiento coherentes de la escena, aprovechando un modelo de difusión de Texto-a-Video. Esto permite crear videos dinámicos que pueden ser visualizados desde cualquier ángulo de cámara y integrados en diversos entornos 3D.

A diferencia de los métodos tradicionales de generación 3D, MAV3D no requiere datos de entrenamiento en 3D o 4D. En su lugar, se basa en un modelo de Texto-a-Video entrenado únicamente con pares de texto e imagen y videos no etiquetados, lo que lo hace accesible para usuarios sin conjuntos de datos especializados. Este enfoque abre nuevas posibilidades para creadores, desarrolladores e investigadores interesados en generar contenido dinámico 3D inmersivo a partir de indicaciones de texto.

La herramienta está diseñada para un público amplio, incluyendo desarrolladores de juegos, animadores y creadores de contenido de realidad virtual que desean producir rápidamente escenas dinámicas en 3D sin necesidad de modelado o animación manual. Ofrece un valor único al combinar generación basada en texto con salida de escenas dinámicas en 3D, que puede ser utilizada en aplicaciones interactivas o narrativas visuales.

Desde el punto de vista técnico, el método integra un NeRF de 4D con un modelo de difusión de Texto-a-Video para garantizar la coherencia de movimiento y apariencia a lo largo del tiempo y el espacio. Esto resulta en escenas dinámicas suaves y realistas que pueden ser exploradas desde múltiples puntos de vista. El sistema mejora las bases internas previas al producir videos en 3D de mayor calidad y coherencia a partir de entradas textuales.

En general, Text-To-4D destaca como el primer método conocido para generar escenas 3D completamente dinámicas a partir de texto, cerrando la brecha entre la generación de videos basada en texto y la síntesis de escenas en 3D. Ofrece una solución flexible e innovadora para crear contenido inmersivo sin necesidad de datos complejos en 3D o animación manual.