Farm3D 对比 Make3D

Farm3D是牛津大学开发的一款工具，可以从单一图片中创建关节动物的3D模型。它采用了一种独特的方法，利用类似Stable Diffusion的基于扩散的二维图像生成器，训练网络重建详细的3D形状，而无需真实的3D数据。这种方法使得Farm3D能够生成具有细节的3D模型，例如腿和耳朵，尽管它不是在真实图像上训练的。

该工具支持可控的3D合成，用户可以调整照明、在同一动物类别的模型之间切换纹理，以及动画化模型。它既可以处理真实图像，也可以处理由Stable Diffusion生成的图像，在几秒钟内生成3D资产。Farm3D将输入图像拆分为关节形状、外观、视角和光线方向等组成部分，赋予用户对最终模型的控制权。

Farm3D还引入了Animodel数据集，这是一个包含带纹理的关节动物3D网格（如马、牛和羊）的一套模型，具有逼真的姿势。这个数据集作为一个基准，用于评估关节动物单视图3D重建的质量。

该工具非常适合对3D动物建模、动画和合成感兴趣的研究者、数字艺术家和开发者，尤其是在没有大量3D训练数据的情况下。它创新性地使用扩散模型进行虚拟监督和评分，使其区别于传统的3D重建方法。

Farm3D的方法通过在训练过程中利用扩散模型生成和批评合成视图，减少了对昂贵的3D标注的依赖。这导致了一个快速、灵活，且能够生成高质量、具有可控特性的3D动物模型的单目重建网络。

将2D图像转换为3D图像或嵌入。