Lumiere vs Synthesia

Lumiere é um modelo de difusão de texto para vídeo do Google Research, desenvolvido para synthesizar vídeos com movimentos realistas, diversos e coerentes. A página do projeto apresenta amostras de resultados para texto-para-vídeo, imagem-para-vídeo, geração estilizada, estilização de vídeo, cinemagraphs e inpainting de vídeos.

Sua arquitetura Space-Time U-Net gera um clipe de vídeo completo em uma única passada do modelo, ao contrário de criar keyframes distantes e preencher lacunas com super-resolução temporal. O modelo utiliza down-sampling e up-sampling espacial e temporal e se apoia em uma backbone de difusão de texto para imagem pré-treinada para produzir vídeos em plena taxa de quadros em múltiplas escalas espaço-temporais.

O site é uma demonstração de pesquisa e companheiro de artigo, não sendo um aplicativo para consumidores. Destina-se a pesquisadores, engenheiros e criadores que desejam estudar os mais avançados métodos de difusão de vídeo e ver o que o modelo pode fazer em tarefas de geração e edição.

Synthesia transforma roteiros em vídeos apresentados por avatares usando mais de 240 avatares de estoque, vozes clonadas e dublagem sincronizada em mais de 160 idiomas. Você escreve o texto, escolhe um avatar e exporta em MP4 ou SCORM sem câmeras, estúdios ou atores de voz. O plano Basic inclui 10 minutos de vídeo gerado por mês com 9 avatares de estoque.

Onde a maioria das ferramentas de vídeo com avatar para na exportação, o Synthesia permite criar, localizar, colaborar e publicar em um único espaço de trabalho. Vídeos incorporados atualizam automaticamente quando você edita a fonte, pacotes SCORM são enviados com versões traduzidas, e equipes Enterprise recebem Kits de Marca além de SAML/SSO. Sessões de Roleplay adicionam um novo ângulo: pratique conversas de vendas ou suporte com avatares interativos que avaliam suas respostas.

Equipes de L&D usam para conformidade e integração em larga escala. Grupos de capacitação de vendas lançam atualizações de pitch em minutos em vez de agendar gravações. Equipes de marketing e comunicação interna localizam um vídeo mestre em dezenas de idiomas com tradução com um clique. Mais de 50.000 empresas usam, incluindo uma grande parte da Fortune 100.