Lumiere vs OnTheFly

Lumiere é um modelo de difusão de texto para vídeo do Google Research, desenvolvido para synthesizar vídeos com movimentos realistas, diversos e coerentes. A página do projeto apresenta amostras de resultados para texto-para-vídeo, imagem-para-vídeo, geração estilizada, estilização de vídeo, cinemagraphs e inpainting de vídeos.

Sua arquitetura Space-Time U-Net gera um clipe de vídeo completo em uma única passada do modelo, ao contrário de criar keyframes distantes e preencher lacunas com super-resolução temporal. O modelo utiliza down-sampling e up-sampling espacial e temporal e se apoia em uma backbone de difusão de texto para imagem pré-treinada para produzir vídeos em plena taxa de quadros em múltiplas escalas espaço-temporais.

O site é uma demonstração de pesquisa e companheiro de artigo, não sendo um aplicativo para consumidores. Destina-se a pesquisadores, engenheiros e criadores que desejam estudar os mais avançados métodos de difusão de vídeo e ver o que o modelo pode fazer em tarefas de geração e edição.

Onhefly, é uma plataforma de streaming ideal para transmitir, gravar, editar e compartilhar e compartilhar conteúdo de vídeo pré-gravado de um site para várias redes de mídia social com baixa latência. Criadores de conteúdo, as empresas podem se beneficiar muito de seus recursos.