Drag Your GAN vs Dall-E 2

Drag Your GAN te permite remodelar una imagen generada arrastrando puntos de control hacia ubicaciones específicas en el lienzo. En lugar de entrenar con datos de pose etiquetados o prerrequisitos 3D, DragGAN mueve píxeles dentro del espacio de imágenes de un GAN preentrenado para que las ediciones se mantengan fotorrealistas incluso cuando se generan regiones ocultas. La página del proyecto aloja el artículo de SIGGRAPH 2023, clips de demostración y enlaces al código abierto.

La mayoría de los editores de GAN dependen de anotaciones fijas de entrenamiento o mallas 3D, lo que limita lo que se puede deformar. DragGAN combina supervisión de movimiento basada en características con seguimiento discriminativo de puntos para que los puntos de control sigan tu cursor mientras permanecen en la superficie del objeto. Esto lo hace útil para ajustar poses de animales, expresiones faciales, ángulos de autos y disposiciones de paisajes sin necesidad de reentrenar el generador.

Investigadores, estudiantes de gráficos y ingenieros de visión por computadora lo usan para prototipar flujos de trabajo interactivos de edición de imágenes. La página del Instituto Max Planck distribuye el PDF del artículo y el repositorio de GitHub bajo una licencia Creative Commons no comercial, con detalles de contacto del autor principal.

DALL-E 2 convierte indicaciones de texto en imágenes y obras de arte originales. Describes una escena en lenguaje sencillo, y el modelo combina conceptos, atributos y estilos en una nueva imagen. OpenAI lo lanzó en 2022 con cuatro veces la resolución del DALL-E original y los evaluadores lo prefirieron sobre DALL-E 1 en el 71.7% de las pruebas de coincidencia de leyendas y en el 88.8% de las comparaciones de fotorrealismo.

Midjourney y Stable Diffusion están dirigidos a comunidades de aficionados con flujos de trabajo en Discord o autoalojados. DALL-E 2 se incluye dentro de ChatGPT para creadores casuales y a través de la API de OpenAI para desarrolladores que necesitan generación programática de imágenes con filtros de contenido que bloquean indicaciones violentas, odiosas, para adultos y políticas, además de rostros públicos fotorrealistas.

Diseñadores, mercadólogos y desarrolladores usan DALL-E 2 para simular conceptos, ilustrar publicaciones de blog y prototipar visuales sin una sesión fotográfica. La página del producto ahora dirige a los usuarios a ChatGPT para la creación, mientras que la API de Imágenes continúa ofreciendo modelos más nuevos junto con DALL-E 2 para equipos que necesitan generación automatizada.