CSM vs Text-To-4D

Cube de Common Sense Machines es una plataforma de inteligencia artificial que convierte fotos y videos en mundos 3D. Con solo unos pocos clics, los usuarios pueden cargar su foto o video y ver a Cube generar mágicamente un recurso 3D. La plataforma admite artistas de todos los niveles y flujos de trabajo, ofreciendo productos potentes en la web, dispositivos móviles y Discord. El objetivo de Cube es hacer que la creación de contenido 3D sea más fácil que nunca, rompiendo las limitaciones de Internet 2D. Los usuarios pueden elegir entre diferentes planes de suscripción según sus necesidades y acceder a funciones como modelos de vista previa turbo ilimitados, servidores dedicados rápidos y acceso a API. Deje que su viaje de construcción del mundo comience con Cube.

Meta presente MAV3D (Make-A-Video3D), un método para generar escenas dinámicas tridimensionales a partir de descripciones de texto. Nuestro enfoque utiliza un campo de radiación neural dinámica 4D (NERF), que está optimizado para la apariencia de la escena, la densidad y la consistencia del movimiento al consultar un modelo basado en la difusión de texto a video (T2V).

La salida de video dinámica generada por el texto proporcionado se puede ver desde cualquier ubicación y ángulo de la cámara, y se puede componer en cualquier entorno 3D. MAV3D no requiere datos 3D o 4D y el modelo T2V solo está entrenado en pares de imágenes de texto y videos no etiquetados.