Farm3D 对比 Immersity (formerly LeiaPix Converter)

Farm3D是牛津大学开发的一款工具，可以从单一图片中创建关节动物的3D模型。它采用了一种独特的方法，利用类似Stable Diffusion的基于扩散的二维图像生成器，训练网络重建详细的3D形状，而无需真实的3D数据。这种方法使得Farm3D能够生成具有细节的3D模型，例如腿和耳朵，尽管它不是在真实图像上训练的。

该工具支持可控的3D合成，用户可以调整照明、在同一动物类别的模型之间切换纹理，以及动画化模型。它既可以处理真实图像，也可以处理由Stable Diffusion生成的图像，在几秒钟内生成3D资产。Farm3D将输入图像拆分为关节形状、外观、视角和光线方向等组成部分，赋予用户对最终模型的控制权。

Farm3D还引入了Animodel数据集，这是一个包含带纹理的关节动物3D网格（如马、牛和羊）的一套模型，具有逼真的姿势。这个数据集作为一个基准，用于评估关节动物单视图3D重建的质量。

该工具非常适合对3D动物建模、动画和合成感兴趣的研究者、数字艺术家和开发者，尤其是在没有大量3D训练数据的情况下。它创新性地使用扩散模型进行虚拟监督和评分，使其区别于传统的3D重建方法。

Farm3D的方法通过在训练过程中利用扩散模型生成和批评合成视图，减少了对昂贵的3D标注的依赖。这导致了一个快速、灵活，且能够生成高质量、具有可控特性的3D动物模型的单目重建网络。

Immersity（前身为 LeiaPix Converter）可将平面照片和视频转换为可在普通屏幕或 XR 头显上查看的深度动画。您只需上传 2D 文件，其神经网络深度引擎（Neural Depth Engine）就会构建深度图，然后您便可以导出并排 3D、深度图、Apple Vision Pro 空间视频或动画沉浸式动态剪辑等格式。

通用的 3D 照片应用通常只停留在单一的视差晃动效果。Immersity 通过神经网络深度渲染 4.0（Neural Depth Rendering 4.0）将前景和背景分离为不同的图层，当您平移或缩放视点时，该技术会自动填补被遮挡的细节。它不仅能处理静态图片，还能转换视频，付费方案支持高达 4K 的导出选项。

创作者、营销人员和 XR 爱好者使用它来制作社交剪辑、旅行素材和立体内容，而无需手动构建深度图。免费层允许无限次转换带有水印且最高 720p 分辨率的内容；付费图片方案起价为每月 $4.99，包含 500 点数和无水印的 4K 输出。