Vidu vs VASA-1 - Microsoft Research

Vidu convierte indicaciones de texto, imágenes fijas y fotos de referencia en clips de video terminados de hasta 1080p. Creadores independientes y equipos de producción lo usan para saltarse una cadena de postproducción tradicional y pasar de la idea a la exportación en el navegador. Los modos principales son texto a video, imagen a video y referencia a video.

Referencia a video es donde Vidu destaca. Sube hasta siete imágenes para mantener personajes, objetos y escenas consistentes a lo largo de un clip, o guarda recursos en Mis Referencias para reutilizarlos en proyectos posteriores. El modelo Vidu Q3 añade audio nativo en la misma generación, por lo que diálogos, locuciones, efectos de sonido y música se sincronizan con la imagen en lugar de en un paso de edición separado.

Creadores que trabajan en anime, publicidad, contenido social y cine de formato corto usan Vidu para todo, desde clips virales basados en plantillas hasta tomas narrativas de 16 segundos con control de cámara a nivel de cuadro. Estudios y mercadólogos también usan imagen a video para animar tomas de productos o cambiar fondos de anuncios manteniendo a los sujetos en modelo.

Las cuentas nuevas reciben créditos iniciales, con más disponibles mediante inicios de sesión diarios, suscripciones y eventos de la plataforma.

VASA-1 es un marco de investigación desarrollado por Microsoft Research Asia que genera videos de rostros parlantes altamente realistas a partir de una sola imagen estática y audio de voz. Destaca por sincronizar de manera precisa los movimientos de los labios con el audio, además de producir una amplia gama de expresiones faciales y movimientos naturales de la cabeza, lo que mejora el realismo y la viveza de los avatares virtuales. El sistema utiliza un modelo holístico de la dinámica facial y el movimiento de la cabeza dentro de un espacio latente disentangled aprendido a partir de datos de video, lo que permite controlar de forma independiente la apariencia, la pose y la expresión. VASA-1 soporta generación de video en tiempo real con una resolución de 512x512 y hasta 40 cuadros por segundo con una latencia mínima, facilitando aplicaciones interactivas como asistentes virtuales, educación y herramientas de accesibilidad. Puede manejar entradas diversas, incluyendo fotos artísticas, canto y habla en idiomas distintos al inglés, demostrando una fuerte capacidad de generalización más allá de sus datos de entrenamiento. Aunque actualmente es un prototipo de investigación sin API comercial ni lanzamiento de producto, VASA-1 establece un nuevo estándar en animación de avatares en tiempo real y realista, con parámetros controlables de mirada, emoción y distancia de la cabeza. Microsoft enfatiza el uso responsable de la inteligencia artificial y se opone a su uso indebido para impersonaciones, destacando los esfuerzos en curso para mejorar la autenticidad de los videos y la detección de contenido generado.