最后更新 08-20-2026
Reviews:
Join thousands of AI enthusiasts in the World of AI!
InstructPix2Pix
InstructPix2Pix 根据简单的语言指令编辑照片，例如“将天空变成日落橙色”或“把它变成水彩画”。您提供一张输入图片和一条简短的文本命令，模型即可在几秒钟内返回编辑后的版本，无需先对该特定照片进行训练。该模型由加州大学伯克利分校的研究人员发布，作为 CVPR 2023 的亮点。
基于蒙版的编辑器要求您先绘制区域再进行修改。InstructPix2Pix 仅通过文本进行一次前向传播，跳过了其他扩散编辑工作流中缓慢的每张图片微调或反演步骤。论文中失败的案例体现了这一权衡：视角变化、物体替换和紧密局部编辑仍是弱点。
该项目在 GitHub 上提供开源代码，并在 Hugging Face 提供浏览器中试用的演示空间。训练时结合了 GPT-3 和 Stable Diffusion 来合成指令对，发布的模型即使训练分辨率为 256x256，也能推广到宽度约 768 像素的真实照片。
无需手动遮罩或每张图片微调，即可根据书面指令编辑上传的图片
在一次前向传递中完成编辑，结果在几秒钟内返回，而非几分钟的反向流程
尽管训练分辨率为256x256，但仍能泛化到宽度约768像素的真实照片
开源代码在 github.com/timothybrooks/instruct-pix2pix，配有 Hugging Face 演示空间
允许链式指令，多个连续编辑在同一张照片上叠加
无需绘制遮罩或在每张图片上微调，即可根据文本指令编辑照片。
开源发布并提供免费 Hugging Face 演示，降低测试编辑的门槛。
前向推理在消费者硬件上几秒钟内完成编辑。
无法可靠地改变相机视角或交换场景中的对象。
有时会应用比指令预期更广泛的更改。
项目网站是研究页面，而非提供持续产品支持的托管编辑器。
什么是InstructPix2Pix？
InstructPix2Pix是一种条件扩散模型，可以根据人类编写的指令编辑图像。InstructPix2Pix接受输入照片和文本命令，并在几秒钟内返回编辑后的图像。
InstructPix2Pix是免费使用的吗？
是的。InstructPix2Pix是一个免费的研究发布，拥有GitHub上的开源代码和公开的Hugging Face演示。InstructPix2Pix在其项目网站上没有付费订阅或商业定价页面。
InstructPix2Pix是如何工作的？
InstructPix2Pix是在结合GPT-3和Stable Diffusion生成的图像编辑对上训练的。在推理时，InstructPix2Pix根据你的书面指令一次前向传递完成，无需针对每个示例进行微调。
我在哪里可以试用InstructPix2Pix？
你可以在Hugging Face Space的timbrooks/instruct-pix2pix运行InstructPix2Pix，或者从GitHub下载代码。InstructPix2Pix在其项目主页上提供了这两个链接。
InstructPix2Pix有哪些局限性？
InstructPix2Pix在视角变化、过度的非预期编辑、隔离特定对象以及场景内对象交换方面表现不佳。InstructPix2Pix在其结果页面上记录了这些失败模式。
谁创建了InstructPix2Pix？
InstructPix2Pix由加州大学伯克利分校的Tim Brooks、Aleksander Holynski和Alexei A. Efros创建。InstructPix2Pix作为CVPR 2023的重点论文出现，项目网站上提供了代码和演示链接。