InstructPix2Pix

InstructPix2Pix

InstructPix2Pix edita una foto a partir de una instrucción en lenguaje sencillo como "hacer que el cielo sea naranja al atardecer" o "convertir esto en una acuarela." Proporcionas una imagen de entrada y un comando de texto corto, y el modelo devuelve una versión editada en segundos sin necesidad de entrenar primero con esa foto específica. Fue publicado como un Destacado de CVPR 2023 por investigadores de UC Berkeley.

Los editores basados en máscaras requieren que pintes regiones antes de cambiar algo. InstructPix2Pix realiza una única pasada hacia adelante solo a partir del texto, omitiendo pasos de ajuste fino o inversión por imagen que ralentizan otros flujos de trabajo de edición por difusión. La compensación aparece en los casos de fallo del artículo: cambios de punto de vista, intercambios de objetos y ediciones locales precisas siguen siendo puntos débiles.

El proyecto ofrece código abierto en GitHub y un espacio de demostración en Hugging Face para probar ediciones en un navegador. El entrenamiento combinó GPT-3 y Stable Diffusion para sintetizar pares de instrucciones, y el modelo liberado se generaliza a fotos reales de hasta aproximadamente 768 píxeles de ancho a pesar de una resolución de entrenamiento de 256x256.

Funciones principales:
  1. Editar una imagen cargada a partir de una instrucción escrita sin enmascaramiento manual ni ajuste fino por imagen

  2. Realiza ediciones en una pasada hacia adelante y devuelve resultados en segundos en lugar de flujos de trabajo de inversión de minutos

  3. Se generaliza a fotos reales de hasta aproximadamente 768 píxeles de ancho a pesar de una resolución de entrenamiento de 256x256

  4. Código de fuente abierta en github.com/timothybrooks/instruct-pix2pix con un espacio de demostración en Hugging Face

  5. Permite instrucciones encadenadas donde múltiples ediciones secuenciales se combinan en la misma foto

Pros:
  1. Edita fotos a partir de instrucciones de texto sin dibujar máscaras ni ajustar finamente en cada imagen

  2. Lanzamiento de código abierto con una demo gratuita en Hugging Face que reduce la barrera para probar ediciones

  3. La inferencia en una pasada hacia adelante completa las ediciones en segundos en configuraciones de hardware de consumo

Cons:
  1. No puede cambiar de manera confiable el punto de vista de la cámara ni intercambiar objetos dentro de una escena

  2. A veces aplica cambios más amplios de los que la instrucción pretendía

  3. El sitio del proyecto es una página de investigación, no un editor alojado con soporte continuo de producto

Preguntas frecuentes:

¿Qué es InstructPix2Pix?

InstructPix2Pix es un modelo de difusión condicional que edita imágenes a partir de instrucciones escritas por humanos. InstructPix2Pix toma una foto de entrada más un comando de texto y devuelve una imagen editada en segundos.

¿InstructPix2Pix es gratis?

Sí. InstructPix2Pix es una versión de investigación gratuita con código abierto en GitHub y una demostración pública en Hugging Face. InstructPix2Pix no tiene suscripción paga ni página de precios comerciales en su sitio del proyecto.

¿Cómo funciona InstructPix2Pix?

InstructPix2Pix fue entrenado con pares de edición de imágenes generados combinando GPT-3 y Stable Diffusion. En tiempo de inferencia, InstructPix2Pix sigue tu instrucción escrita en una sola pasada sin ajuste fino por ejemplo.

¿Dónde puedo probar InstructPix2Pix?

Puedes ejecutar InstructPix2Pix en el Hugging Face Space en timbrooks/instruct-pix2pix o descargar el código desde GitHub. InstructPix2Pix enlaza ambos desde su página principal del proyecto.

¿Cuáles son las limitaciones de InstructPix2Pix?

InstructPix2Pix tiene dificultades con cambios de punto de vista, ediciones no intencionadas excesivas, aislar objetos específicos y cambiar objetos dentro de una escena. InstructPix2Pix documenta estos modos de fallo en su página de resultados.

¿Quién creó InstructPix2Pix?

InstructPix2Pix fue creado por Tim Brooks, Aleksander Holynski y Alexei A. Efros en UC Berkeley. InstructPix2Pix apareció como un artículo destacado en CVPR 2023 con enlaces a código y demo en el sitio del proyecto.

Categoría:

Tarificación:

Gratis

Etiquetas:

Instruction Based Editing
Diffusion Model
Open Source
CVPR 2023
Hugging Face Demo
Text Guided Edits
Research Project
AI Editing

Tecnología utilizada:

GitHub
Google Cloud
Google Analytics
Google Tag Manager
Font Awesome
jQuery

Reseñas:

Give your opinion on InstructPix2Pix :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Mejor Gratis InstructPix2Pix Alternativas (y Pagadas)

By Rishit