InstructPix2Pix vs Palette.fm

InstructPix2Pix edita una foto a partir de una instrucción en lenguaje sencillo como "hacer que el cielo sea naranja al atardecer" o "convertir esto en una acuarela." Proporcionas una imagen de entrada y un comando de texto corto, y el modelo devuelve una versión editada en segundos sin necesidad de entrenar primero con esa foto específica. Fue publicado como un Destacado de CVPR 2023 por investigadores de UC Berkeley.

Los editores basados en máscaras requieren que pintes regiones antes de cambiar algo. InstructPix2Pix realiza una única pasada hacia adelante solo a partir del texto, omitiendo pasos de ajuste fino o inversión por imagen que ralentizan otros flujos de trabajo de edición por difusión. La compensación aparece en los casos de fallo del artículo: cambios de punto de vista, intercambios de objetos y ediciones locales precisas siguen siendo puntos débiles.

El proyecto ofrece código abierto en GitHub y un espacio de demostración en Hugging Face para probar ediciones en un navegador. El entrenamiento combinó GPT-3 y Stable Diffusion para sintetizar pares de instrucciones, y el modelo liberado se generaliza a fotos reales de hasta aproximadamente 768 píxeles de ancho a pesar de una resolución de entrenamiento de 256x256.

Palette.fm colorea fotos en blanco y negro mediante una carga en el navegador con más de 21 filtros preestablecidos y ajustes de color basados en palabras clave. Sube una imagen, elige un filtro, ajusta las palabras clave descriptivas si es necesario, luego descarga un resultado en resolución completa o sigue iterando con las vistas previas. El flujo de trabajo de edición fotográfica está dirigido a historiadores familiares, fotógrafos y creadores que restauran impresiones antiguas sin abrir Photoshop.

La mayoría de los colorizadores tienden a usar tonos sepia y púrpura intensos con poca capacidad para ajustar tonos de piel o colores de telas. Palette.fm permite hacer clic en un filtro y luego afinar los tonos mediante palabras clave en lenguaje sencillo, y ofrece paquetes de créditos de una sola vez junto con suscripciones. Las vistas previas gratuitas tienen un límite de 500x500 píxeles con marca de agua, mientras que los créditos pagados eliminan el logo y permiten archivos de hasta 5000x5000 píxeles.

Investigadores genealógicos, archiveros fotográficos y educadores de YouTube usan Palette.fm para probar en lote diferentes estilos de color antes de usar créditos. El sitio reporta 54 millones de fotos coloreadas y 6.6 millones de usuarios registrados, con una opción de API para equipos que desean acceso programático.