Vidu vs Lumiere

Vidu é uma plataforma completa para geração de imagens e vídeos a partir de texto, imagens fixas ou fotos de referência. Ela foi criada para criadores independentes e equipes de produção que desejam transformar ideias em vídeos acabados sem a necessidade de um pipeline tradicional de pós-produção. Os modos principais são texto-para-vídeo, imagem-para-vídeo e referência-para-vídeo, com saída até 1080p.

Referência-para-vídeo é onde a Vidu se destaca. Faça upload de até sete imagens para manter a consistência de personagens, objetos e cenas ao longo de um vídeo, ou salve ativos em Meus Referências para reutilizar em projetos futuros. O modelo Vidu Q3 adiciona áudio nativo na mesma passagem de geração, de modo que diálogos, voiceovers, efeitos sonoros e música ficam integrados à imagem, ao invés de uma etapa de edição separada.

Criadores que atuam em anime, publicidade, conteúdo para redes sociais e filmes de curta duração usam a Vidu para tudo, desde vídeos virais baseados em modelos até tomadas narrativas de 16 segundos com controle de câmera em nível de quadro. Estúdios e profissionais de marketing também utilizam imagem-para-vídeo para animar cenas de produtos ou trocar fundos de anúncios, mantendo os sujeitos alinhados ao modelo.

Modo Off-Peak oferece geração ilimitada de vídeos gratuita, sem precisar gastar créditos. Novas contas recebem créditos iniciais, com mais disponíveis através de logins diários, assinaturas e eventos na plataforma.

Lumiere é um modelo de difusão de texto para vídeo do Google Research, desenvolvido para synthesizar vídeos com movimentos realistas, diversos e coerentes. A página do projeto apresenta amostras de resultados para texto-para-vídeo, imagem-para-vídeo, geração estilizada, estilização de vídeo, cinemagraphs e inpainting de vídeos.

Sua arquitetura Space-Time U-Net gera um clipe de vídeo completo em uma única passada do modelo, ao contrário de criar keyframes distantes e preencher lacunas com super-resolução temporal. O modelo utiliza down-sampling e up-sampling espacial e temporal e se apoia em uma backbone de difusão de texto para imagem pré-treinada para produzir vídeos em plena taxa de quadros em múltiplas escalas espaço-temporais.

O site é uma demonstração de pesquisa e companheiro de artigo, não sendo um aplicativo para consumidores. Destina-se a pesquisadores, engenheiros e criadores que desejam estudar os mais avançados métodos de difusão de vídeo e ver o que o modelo pode fazer em tarefas de geração e edição.