Farm3D 对比 DeepMotion

Farm3D 是牛津大学开发的一种用于单视图三维重建关节动物的研究方法，并于 3DV 2024 发表。你只需提供一张马、牛或羊的照片，它即可在几秒钟内返回带纹理的完整三维形状，无需在真实照片上训练。项目页面记录了该方法，展示了重建演示，并链接了代码和 Animodel 基准数据集。

大多数三维生成器需要大量带标签的三维数据集或多视角捕捉。Farm3D 完全在由 Stable Diffusion 生成的合成视图上训练，然后在学习过程中使用相同的扩散模型作为判别器。这使其能够恢复诸如腿和耳朵等细节，即使是在未见过真实图像的类别上，这对于依赖真实世界监督的单目重建流程来说是不寻常的。

研究关节三维形状的研究人员、原型设计动物资产流程的计算机视觉工程师以及探索可控合成的三维艺术家都会发现这些演示和开源代码很有用。该方法还支持重新照明、同类别模型间的纹理交换，以及生成形状后的骨骼动画。

DeepMotion通过浏览器根据文本提示或参考视频构建3D角色动画，无需动作捕捉服。其两款产品SayMotion和Animate 3D可将书面动作描述或上传的MP4、MOV和AVI剪辑转换为可导出的骨骼数据，适用于游戏和影视制作流程。输出格式包括FBX、BVH、GLB或MP4文件，可重新绑定到自定义角色。

传统动作捕捉需要专业硬件和工作室空间。DeepMotion在云端运行无标记全身追踪，使独立工作室和个人动画师能够通过手机视频制作战斗编排或舞蹈动作。SayMotion增加了生成式修补功能，能够扩展或融合动作，超越库存库的限制，而库存动画网站无法在不进行手动编辑的情况下实现。

游戏开发者、XR艺术家、电影学生和教育工作者使用该工具在进行完整绑定之前对角色动作进行原型设计。免费动画积分计划允许用户通过标注动作描述或在Rotoscope编辑器中纠正姿势来赚取积分。