DreamFusion 对比 Text-To-4D

DreamFusion 通过预训练的二维文本到图像扩散模型，将文本描述转化为详细的三维模型。它通过一种新颖的得分蒸馏采样（Score Distillation Sampling）损失，优化神经辐射场（NeRF），避免了对大量三维数据集的需求。这种方法使DreamFusion能够生成可以从任何角度观看、在不同光照下重光以及融入各种三维环境的场景。

该工具面向希望快速生成三维资产的创作者和开发者，无需深入掌握三维建模或访问大量三维数据。它提供了一种生成具有准确深度和表面法线、可重光的对象的方法，从而增强虚拟场景的真实感。

DreamFusion的价值在于它能够利用现有的二维扩散模型（如Imagen）引导三维合成，避免了训练新三维模型的复杂性。它还支持通过Marching Cubes将NeRF导出为网格，使得在常用三维软件中使用生成的模型变得更加方便。

在技术层面，DreamFusion使用得分蒸馏采样优化三维参数，使渲染图像符合扩散模型的预期。额外的正则项改善了几何质量，生成的模型具有连贯的形状和细致的表面特性。

这种方法展示了二维扩散先验如何超越图像，进入三维内容创作，为无需专业的三维训练数据或架构的文本驱动三维生成开辟了新的可能性。

用户可以浏览一个多样化的生成对象和场景画廊，展示从简单双语提示中产生的丰富输出。DreamFusion作为一个以研究为驱动的平台，持续发展，连接文本、二维扩散和三维建模。

Text-To-4D，也被称为 MAV3D（Make-A-Video3D），可以根据简单的文本描述生成三维动态场景。它利用一种为确保场景外观、一致性密度和运动优化的4D动态神经辐射场（NeRF），结合文本到视频的扩散模型实现。这使得创建可以从任何摄像机角度观看的动态视频成为可能，并能够集成到各种3D环境中。

不同于传统的3D生成方法，MAV3D不需要任何3D或4D的训练数据。它依赖于仅在文本-图像对和未标记视频上训练的文字到视频模型，使没有专门数据集的用户也能使用。这一方法为希望通过文本提示生成沉浸式3D动态内容的创作者、开发者和研究人员开启了新的可能性。

该工具面向广泛的用户群体，包括游戏开发者、动画师和虚拟现实内容创作人员，帮助他们无需手动建模或动画即可快速生成动态图景。它结合了文本驱动的生成与3D动态场景输出，具有独特的价值，可用于交互式应用或视觉叙事。

从技术上讲，该方法将4D NeRF与基于扩散的Text-to-Video模型集成，确保运动和外观在时间和空间上的一致性，从而生成平滑、逼真的动态场景，用户可以从多个角度进行探索。系统在之前的内部基础上取得了改进，能够根据文本输入生成更高质量、更连贯的3D视频。

整体而言，Text-To-4D作为首个能从文本生成完全动态3D场景的方法，弥补了文本视频生成与3D场景合成之间的差距，提供了一种灵活且创新的解决方案，用于创建沉浸式内容，无需复杂的3D数据或手动画面。