Drag Your GAN

Drag Your GAN

Drag Your GAN 允许你通过拖动控制点到画布上的目标位置来重塑生成的图像。DragGAN 不依赖于带标签的姿势数据或三维先验,而是在预训练的 GAN 图像流形内移动像素,因此即使遮挡区域被虚构,编辑仍保持照片级真实感。项目页面提供了 SIGGRAPH 2023 论文、演示视频和开源代码链接。

大多数 GAN 编辑器依赖固定的训练标注或三维网格,这限制了可变形的内容。DragGAN 结合基于特征的运动监督和判别点跟踪,使控制点在保持在物体表面的同时跟随光标移动。这使其适用于调整动物姿势、面部表情、汽车角度和景观布局,无需重新训练生成器。

研究人员、图形学学生和计算机视觉工程师使用它来原型交互式图像编辑工作流程。马克斯·普朗克研究所页面提供论文 PDF 和 GitHub 仓库,采用非商业性知识共享许可,并附有通讯作者的联系方式。

主要功能:
  1. 拖拽手柄点到目标位置,实现像素级精确控制

  2. 基于特征的运动监督驱动手柄,无需3D先验

  3. 点追踪使用判别式GAN特征定位手柄

  4. 变形动物、汽车、人类、风景和倒置的真实照片

  5. 开源代码发布在 github.com/XingangPan/DragGAN

  6. 来自SIGGRAPH 2023会议论文集的论文和演示视频

Pros:
  1. 无需手动训练标注即可实现精确交互控制

  2. 在GAN图像流形内生成逼真编辑

  3. 处理遮挡内容和刚性形状变形

  4. 提供免费开源代码和论文

  5. 适用于动物、人类、车辆和风景

Cons:
  1. 非商业许可证限制商业部署

  2. 需要GAN专业知识运行研究代码库

  3. 项目页面没有面向休闲用户的托管网页应用

  4. 研究项目页面最后更新于2023年5月

常见问题:

Drag Your GAN是免费使用的吗?

是的,Drag Your GAN对非商业用途是免费的。项目页面以Creative Commons CC BY-NC 4.0许可协议发布论文PDF和GitHub代码,使用时需注明论文标题和作者。

Drag Your GAN能做什么?

Drag Your GAN允许你拖动生成图像上的点,使像素移动到用户定义的目标位置。DragGAN结合了运动监督和GAN潜空间内的点跟踪,实现姿势、形状、表情和布局的变形。

我在哪里可以下载Drag Your GAN代码?

Drag Your GAN在其项目页面链接到github.com/XingangPan/DragGAN的开源仓库。同一页面还提供SIGGRAPH 2023论文PDF下载。

Drag Your GAN支持哪些图像类型?

Drag Your GAN演示视频涵盖狮子、猫、狗、马、大象、人脸、汽车、显微镜和风景。该方法还展示了通过GAN反演对真实照片的操控。

谁创建了Drag Your GAN?

Drag Your GAN由马克斯·普朗克信息学研究所、麻省理工学院、宾夕法尼亚大学和Google AR/VR的研究人员共同撰写。项目页面上列出的联系人是Xingang Pan。

Drag Your GAN可以商业使用吗?

Drag Your GAN网站材料采用CC BY-NC 4.0许可,限制商业使用。商业项目中使用图像、文本或视频前,请先查看项目页面的许可文件。

定价:

免费

标签:

GAN Editing
Point-based Control
Image Manipulation
SIGGRAPH 2023
Computer Vision
Open Source
Feature-based motion supervision
Point tracking

使用的技术:

GANs
GitHub
Google Cloud
Google Fonts
Ruby

评论:

Give your opinion on Drag Your GAN :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

最佳免费 Drag Your GAN 替代方案(和付费)

By Rishit