Waifu-diffusion on Hugging Face vs Drag Your GAN

Waifu-diffusion on Hugging Face convierte descripciones de texto en imágenes de estilo anime a través de un modelo Stable Diffusion ajustado con ilustraciones de anime de alta calidad. Cargas hakurei/waifu-diffusion con la biblioteca Diffusers en Python, envías una descripción y obtienes una imagen generada. La ficha del modelo incluye código listo para ejecutar para CUDA, Apple MPS, Google Colab y aplicaciones locales como Draw Things y DiffusionBee.

En comparación con los puntos de control de propósito general de Stable Diffusion, este modelo está optimizado específicamente para la estética anime en lugar del fotorrealismo. Ese enfoque específico lo convierte en una base común para arte de aficionados, conceptos de personajes e ilustraciones estilizadas, mientras que los modelos de SD generales a menudo necesitan descripciones más detalladas para mantenerse en el estilo anime. Los pesos de la versión v1.4 se distribuyen bajo CreativeML OpenRAIL-M con más de 2,500 'me gusta' de la comunidad y alrededor de 1,166 descargas en el último mes en Hugging Face.

El modelo tiene un peso de 0.9 mil millones de parámetros en formato Safetensors y funciona con StableDiffusionPipeline en Diffusers. Los creadores pueden ajustarlo o adaptarlo aún más, con cuatro modelos adaptadores, dos ajustes finos y una cuantización listados en el árbol de modelos de Hugging Face.

Waifu-diffusion es adecuado para ilustradores, aficionados y desarrolladores que desean generar imágenes de estilo anime que puedan ejecutar localmente o en cuadernos sin necesidad de construir un modelo desde cero.

Drag Your GAN te permite remodelar una imagen generada arrastrando puntos de control hacia ubicaciones específicas en el lienzo. En lugar de entrenar con datos de pose etiquetados o prerrequisitos 3D, DragGAN mueve píxeles dentro del espacio de imágenes de un GAN preentrenado para que las ediciones se mantengan fotorrealistas incluso cuando se generan regiones ocultas. La página del proyecto aloja el artículo de SIGGRAPH 2023, clips de demostración y enlaces al código abierto.

La mayoría de los editores de GAN dependen de anotaciones fijas de entrenamiento o mallas 3D, lo que limita lo que se puede deformar. DragGAN combina supervisión de movimiento basada en características con seguimiento discriminativo de puntos para que los puntos de control sigan tu cursor mientras permanecen en la superficie del objeto. Esto lo hace útil para ajustar poses de animales, expresiones faciales, ángulos de autos y disposiciones de paisajes sin necesidad de reentrenar el generador.

Investigadores, estudiantes de gráficos y ingenieros de visión por computadora lo usan para prototipar flujos de trabajo interactivos de edición de imágenes. La página del Instituto Max Planck distribuye el PDF del artículo y el repositorio de GitHub bajo una licencia Creative Commons no comercial, con detalles de contacto del autor principal.