Farm3D 对比 Text-To-4D

Farm3D 是牛津大学开发的一种用于单视图三维重建关节动物的研究方法，并于 3DV 2024 发表。你只需提供一张马、牛或羊的照片，它即可在几秒钟内返回带纹理的完整三维形状，无需在真实照片上训练。项目页面记录了该方法，展示了重建演示，并链接了代码和 Animodel 基准数据集。

大多数三维生成器需要大量带标签的三维数据集或多视角捕捉。Farm3D 完全在由 Stable Diffusion 生成的合成视图上训练，然后在学习过程中使用相同的扩散模型作为判别器。这使其能够恢复诸如腿和耳朵等细节，即使是在未见过真实图像的类别上，这对于依赖真实世界监督的单目重建流程来说是不寻常的。

研究关节三维形状的研究人员、原型设计动物资产流程的计算机视觉工程师以及探索可控合成的三维艺术家都会发现这些演示和开源代码很有用。该方法还支持重新照明、同类别模型间的纹理交换，以及生成形状后的骨骼动画。

Text-To-4D 是 Meta AI 的一个研究项目（MAV3D），能够根据文本描述生成三维动态场景。该方法使用了一个四维动态神经辐射场，通过查询文本到视频的扩散模型，优化了外观、密度和运动一致性。

与输出单一网格的静态三维生成器不同，Text-To-4D 生成的场景可以从任意摄像机角度观看，并可合成到其他三维环境中。该方法不需要三维或四维训练数据；其底层的文本到视频模型仅在文本-图像对和无标签视频上进行训练。

项目页面提供了文本到四维的演示样例，如“柯基犬玩球”，以及从静态照片到四维的图像转换。它是一个研究展示项目，不是带有公开 API 或注册功能的商业产品。对基于 NeRF 的动态场景生成感兴趣的研究人员和三维艺术家可以在网站上查看论文和样例输出。