Farm3D 对比 DeepMotion

Farm3D是牛津大学开发的一款工具，可以从单一图片中创建关节动物的3D模型。它采用了一种独特的方法，利用类似Stable Diffusion的基于扩散的二维图像生成器，训练网络重建详细的3D形状，而无需真实的3D数据。这种方法使得Farm3D能够生成具有细节的3D模型，例如腿和耳朵，尽管它不是在真实图像上训练的。

该工具支持可控的3D合成，用户可以调整照明、在同一动物类别的模型之间切换纹理，以及动画化模型。它既可以处理真实图像，也可以处理由Stable Diffusion生成的图像，在几秒钟内生成3D资产。Farm3D将输入图像拆分为关节形状、外观、视角和光线方向等组成部分，赋予用户对最终模型的控制权。

Farm3D还引入了Animodel数据集，这是一个包含带纹理的关节动物3D网格（如马、牛和羊）的一套模型，具有逼真的姿势。这个数据集作为一个基准，用于评估关节动物单视图3D重建的质量。

该工具非常适合对3D动物建模、动画和合成感兴趣的研究者、数字艺术家和开发者，尤其是在没有大量3D训练数据的情况下。它创新性地使用扩散模型进行虚拟监督和评分，使其区别于传统的3D重建方法。

Farm3D的方法通过在训练过程中利用扩散模型生成和批评合成视图，减少了对昂贵的3D标注的依赖。这导致了一个快速、灵活，且能够生成高质量、具有可控特性的3D动物模型的单目重建网络。

DeepMotion 提供基于 AI 的动作捕捉和身体追踪技术，用户只需通过任何网页浏览器即可快速从视频创建 3D 动画。其 Animate 3D 平台可以将普通视频转换为全身动画，无需标记或特殊硬件。这使得动作捕捉变得对独立创作者、教育者和游戏开发者都变得容易，他们可以用逼真的动作为数字角色赋予生命。该平台支持自定义角色，并与流行的 3D 格式集成，方便导出用于游戏、VR 和动画项目。