Farm3D
Farm3D 是牛津大学开发的一种用于单视图三维重建关节动物的研究方法,并于 3DV 2024 发表。你只需提供一张马、牛或羊的照片,它即可在几秒钟内返回带纹理的完整三维形状,无需在真实照片上训练。项目页面记录了该方法,展示了重建演示,并链接了代码和 Animodel 基准数据集。
大多数三维生成器需要大量带标签的三维数据集或多视角捕捉。Farm3D 完全在由 Stable Diffusion 生成的合成视图上训练,然后在学习过程中使用相同的扩散模型作为判别器。这使其能够恢复诸如腿和耳朵等细节,即使是在未见过真实图像的类别上,这对于依赖真实世界监督的单目重建流程来说是不寻常的。
研究关节三维形状的研究人员、原型设计动物资产流程的计算机视觉工程师以及探索可控合成的三维艺术家都会发现这些演示和开源代码很有用。该方法还支持重新照明、同类别模型间的纹理交换,以及生成形状后的骨骼动画。
在几秒钟内从一张输入图像重建关节动物形状
通过从Stable Diffusion提取虚拟视图进行训练,无需真实照片
将每个实例分解为形状、反照率、漫反射和环境光、视角和光线方向
支持重光、相同类别模型之间的纹理交换和生成资产的骨架动画
Animodel基准提供具有逼真关节姿势的马、牛和羊的纹理网格
论文已被3DV 2024接受;代码和数据集在GitHub上以tomasjakab/animodel发布
无需真实图像训练数据即可从单个照片重建细节丰富的关节信息
开源论文、代码和Animodel基准都链接在项目页面
生成的资产支持重光、纹理交换和动画演示
研究项目,不是可以注册并在浏览器中运行的托管应用或API
专注于马、牛、羊等关节动物类别,而非通用对象
运行代码需要在本地设置GitHub仓库和计算环境
Farm3D能从照片重建什么?
Farm3D从单张输入图像重建一个可动的3D动物。该方法输出形状、纹理和姿态控制,项目页面展示了马、牛和羊的重建,细节包括精细的腿部和耳朵。
Farm3D是免费使用的吗?
是的,Farm3D是免费的研究软件。项目页面提供了arXiv论文、BibTeX条目和包含代码及Animodel基准测试的GitHub仓库链接,地址是github.com/tomasjakab/animodel。
Farm3D需要真实训练图像吗?
不需要。Farm3D完全通过Stable Diffusion生成的合成视图学习类别。在训练过程中,它还采样合成实例视图,由Stable Diffusion进行评估以指导重建质量。
Farm3D生成3D资产后可以做什么?
Farm3D输出可控的3D资产,您可以对其重新照明、动画制作或在同类别的其他模型间进行纹理替换。项目页面展示了生成形状的动画、重新照明和纹理替换演示。
Farm3D中的Animodel数据集是什么?
Animodel是随Farm3D捆绑的3D可动动物数据集,用于单视图重建的基准测试。它包含专业制作的马、牛和羊的纹理网格,姿态逼真且可动。
Farm3D在哪里发表?
Farm3D由牛津大学开发,并发表于3DV 2024会议。arXiv预印本标题为Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion,编号arXiv:2304.10535。

