InstructPix2Pix 对比 Palette.fm

InstructPix2Pix 根据简单的语言指令编辑照片，例如“将天空变成日落橙色”或“把它变成水彩画”。您提供一张输入图片和一条简短的文本命令，模型即可在几秒钟内返回编辑后的版本，无需先对该特定照片进行训练。该模型由加州大学伯克利分校的研究人员发布，作为 CVPR 2023 的亮点。

基于蒙版的编辑器要求您先绘制区域再进行修改。InstructPix2Pix 仅通过文本进行一次前向传播，跳过了其他扩散编辑工作流中缓慢的每张图片微调或反演步骤。论文中失败的案例体现了这一权衡：视角变化、物体替换和紧密局部编辑仍是弱点。

该项目在 GitHub 上提供开源代码，并在 Hugging Face 提供浏览器中试用的演示空间。训练时结合了 GPT-3 和 Stable Diffusion 来合成指令对，发布的模型即使训练分辨率为 256x256，也能推广到宽度约 768 像素的真实照片。

Palette.fm 通过浏览器上传流程为黑白照片上色，提供 21 种以上滤镜预设和基于关键词的颜色调整。上传图片，选择滤镜，如有需要调整描述性关键词，然后下载全分辨率结果或继续预览迭代。该照片编辑流程面向家族历史研究者、摄影师和修复旧照片的创作者，无需打开 Photoshop。

大多数上色工具偏重浓重的棕褐色和紫色色调，几乎无法调整肤色或织物颜色。Palette.fm 允许用户点击滤镜后通过简单语言关键词微调色调，并提供一次性积分包和订阅服务。免费预览限制为 500x500 像素并带水印，付费积分则去除水印并支持最高 5000x5000 像素文件。

家谱研究者、照片档案管理员和 YouTube 教育者使用 Palette.fm 批量测试色彩效果后再使用积分。网站报告已上色照片达 5400 万张，注册用户 660 万，提供面向团队的 API 以实现程序化访问。