Img2Video vs Lumiere

O Img2Video transforma imagens estáticas enviadas em curtos vídeos animados por meio de um fluxo de trabalho no navegador em img2video.org/create. Você escolhe um modelo, envia 2 a 3 arquivos JPG ou PNG de até 10MB cada, define uma duração de 5, 10 ou 15 segundos e opcionalmente adiciona um comando antes de gerar o clipe.

Muitos aplicativos de imagem para vídeo têm como alvo o movimento cinematográfico a partir de uma única foto. O Img2Video foca em resultados no estilo de apresentação de slides com várias imagens, contendo modelos, uma biblioteca de músicas isentas de royalties e predefinições de exportação dimensionadas para Instagram, TikTok, YouTube e Facebook. As exportações gratuitas possuem uma marca d'água, enquanto os planos Lite e Pro a removem e desbloqueiam o Modo Profissional.

A seção de preços lista as opções Free, Lite por $9.9 por mês durante a oferta de lançamento e Pro por $19.9 por mês, com cotas mensais de 2, 30 e 80 vídeos padrão. Criadores de conteúdo, gerentes de mídias sociais e vendedores de comércio eletrônico são os públicos citados na página inicial e na página de criação.

Lumiere é um modelo de difusão de texto para vídeo do Google Research, desenvolvido para synthesizar vídeos com movimentos realistas, diversos e coerentes. A página do projeto apresenta amostras de resultados para texto-para-vídeo, imagem-para-vídeo, geração estilizada, estilização de vídeo, cinemagraphs e inpainting de vídeos.

Sua arquitetura Space-Time U-Net gera um clipe de vídeo completo em uma única passada do modelo, ao contrário de criar keyframes distantes e preencher lacunas com super-resolução temporal. O modelo utiliza down-sampling e up-sampling espacial e temporal e se apoia em uma backbone de difusão de texto para imagem pré-treinada para produzir vídeos em plena taxa de quadros em múltiplas escalas espaço-temporais.

O site é uma demonstração de pesquisa e companheiro de artigo, não sendo um aplicativo para consumidores. Destina-se a pesquisadores, engenheiros e criadores que desejam estudar os mais avançados métodos de difusão de vídeo e ver o que o modelo pode fazer em tarefas de geração e edição.