DeepMotion vs Text-To-4D

DeepMotion cria animações de personagens 3D a partir de comandos de texto ou vídeo de referência através do navegador, sem necessidade de traje de captura de movimento. Seus dois produtos, SayMotion e Animate 3D, transformam descrições de movimentos escritos ou clipes MP4, MOV e AVI enviados em dados de esqueleto exportáveis para pipelines de jogos e filmes. A saída é enviada como arquivos FBX, BVH, GLB ou MP4 que você pode retargetar para personagens personalizados.

A captura de movimento tradicional requer hardware especializado e espaço de estúdio. DeepMotion executa rastreamento corporal completo sem marcadores na nuvem, permitindo que estúdios independentes e animadores solo produzam coreografias de luta ou passos de dança a partir de um vídeo de celular. SayMotion adiciona pintura generativa para estender ou mesclar movimentos além das bibliotecas padrão, algo que sites de animação padrão não conseguem sem edição manual.

Desenvolvedores de jogos, artistas XR, estudantes de cinema e educadores usam para prototipar movimentos de personagens antes de se comprometerem com uma rigagem completa. O Programa de Créditos de Animação Gratuitos permite que usuários recuperem créditos rotulando descrições de movimento ou corrigindo poses no editor Rotoscope.

Text-To-4D é um projeto de pesquisa da Meta AI (MAV3D) que gera cenas dinâmicas tridimensionais a partir de descrições em texto. O método utiliza um Neural Radiance Field dinâmico 4D otimizado para consistência de aparência, densidade e movimento, consultando um modelo de difusão texto-para-vídeo.

Diferente dos geradores 3D estáticos que produzem uma única malha, o Text-To-4D gera cenas que podem ser visualizadas de qualquer ângulo de câmera e compostas em outros ambientes 3D. A abordagem não requer dados de treinamento 3D ou 4D; o modelo texto-para-vídeo subjacente é treinado apenas com pares texto-imagem e vídeos não rotulados.

A página do projeto hospeda amostras de demonstração para comandos texto-para-4D como "um corgi brincando com uma bola" e conversões imagem-para-4D a partir de fotos estáticas. É uma vitrine de pesquisa, não um produto comercial com API pública ou cadastro. Pesquisadores e artistas 3D interessados em geração dinâmica de cenas baseada em NeRF podem explorar o artigo e as saídas de exemplo no site.