mo-di-diffusion on Hugging Face vs Drag Your GAN

mo-di-diffusion es un punto de control de Stable Diffusion 1.5 afinado en Hugging Face que representa personajes y escenas con un estilo moderno de película animada. El creador nitrosocke lo entrenó con capturas de pantalla de un estudio de animación popular usando DreamBooth con pérdida de preservación previa y entrenamiento del codificador de texto durante más de 9,000 pasos. Añade el token modern disney style a tu prompt para activar la estética.

Los puntos de control generales de SD 1.5 buscan el fotorrealismo o estilos amplios de ilustración. mo-di-diffusion se enfoca estrictamente en ese aspecto brillante de animación de personajes, por lo que los prompts de muestra para héroes de juegos, animales y paisajes tienden a ser cinematográficos más que fotográficos. Los pesos se cargan mediante la estándar Diffusers StableDiffusionPipeline, por lo que puedes ejecutarlo localmente, en Colab o dentro de Hugging Face Spaces sin una API propietaria.

Artistas, aficionados y desarrolladores que experimentan con conceptos de personajes usan mo-di-diffusion cuando desean renders cercanos al estilo Disney sin encargar un entrenamiento personalizado del modelo. La tarjeta del modelo incluye código de ejemplo en Python, enlaces a demos en Gradio y notas sobre opciones de exportación ONNX, MPS y FLAX. Es gratuito para descargar bajo la licencia CreativeML OpenRAIL-M con uso comercial permitido sujeto a las restricciones de daño de la licencia.

Drag Your GAN te permite remodelar una imagen generada arrastrando puntos de control hacia ubicaciones específicas en el lienzo. En lugar de entrenar con datos de pose etiquetados o prerrequisitos 3D, DragGAN mueve píxeles dentro del espacio de imágenes de un GAN preentrenado para que las ediciones se mantengan fotorrealistas incluso cuando se generan regiones ocultas. La página del proyecto aloja el artículo de SIGGRAPH 2023, clips de demostración y enlaces al código abierto.

La mayoría de los editores de GAN dependen de anotaciones fijas de entrenamiento o mallas 3D, lo que limita lo que se puede deformar. DragGAN combina supervisión de movimiento basada en características con seguimiento discriminativo de puntos para que los puntos de control sigan tu cursor mientras permanecen en la superficie del objeto. Esto lo hace útil para ajustar poses de animales, expresiones faciales, ángulos de autos y disposiciones de paisajes sin necesidad de reentrenar el generador.

Investigadores, estudiantes de gráficos y ingenieros de visión por computadora lo usan para prototipar flujos de trabajo interactivos de edición de imágenes. La página del Instituto Max Planck distribuye el PDF del artículo y el repositorio de GitHub bajo una licencia Creative Commons no comercial, con detalles de contacto del autor principal.