GET3D | Nvidia
GET3D 生成带纹理的 3D 网格资产,您可以直接将其导入渲染引擎,该模型仅通过 2D 图像集合进行训练。NVIDIA 研究人员开发它以输出具有几何形状和纹理的显式网格,而非需要自定义渲染器的神经辐射场。
当时大多数 3D 生成模型要么跳过纹理,要么限制固定拓扑结构,或者需要神经渲染管线来查看结果。GET3D 使用可微分的四面体行进算法(DMTet)加上对光栅化 RGB 图像和轮廓的对抗损失,因此输出的是标准的带纹理网格。权衡之处在于研究级访问:这是 NVIDIA 多伦多 AI 实验室在 NeurIPS 2022 发布的项目,而非带上传按钮的托管 SaaS。
该模型支持汽车、椅子、动物、摩托车、人物角色和建筑物。它还支持通过基于 CLIP 的微调进行文本引导的形状生成,类似于 StyleGAN-NADA,并且可以通过独立的潜在编码分离几何形状和纹理。
输出可在标准渲染引擎中使用的明确纹理化3D网格
通过对RGB和轮廓的对抗损失,从2D图像集合中训练而成
生成汽车、椅子、动物、摩托车、人类和建筑物
通过分离的潜在编码解开几何和纹理
支持通过CLIP微调进行文本引导的形状生成
由NVIDIA、多伦多大学和Vector Institute在NeurIPS 2022发布
输出与常用3D软件兼容的标准纹理网格
无需3D真实数据,从2D图像集合中训练
解耦的几何和纹理编码允许在不重新生成形状的情况下交换材料
支持通过CLIP微调进行文本引导的生成
来自顶级NeurIPS 2022论文的免费研究项目
仅为研究项目,不是托管的商业产品
没有面向休闲用户的自助SaaS界面或API
商业用途需另行获得NVIDIA Research许可
论文发布时间为2022年;之后出现了更新的3D生成模型
NVIDIA的GET3D是什么?
GET3D是NVIDIA多伦多AI实验室开发的一种生成模型,能够从二维图像集合创建带纹理的三维网格。该模型发表于NeurIPS 2022,输出的资产可直接用于标准三维渲染引擎。
GET3D可以免费使用吗?
GET3D是NVIDIA的免费研究项目。没有商业定价或托管的SaaS产品。商业许可咨询需通过NVIDIA研究许可渠道。
GET3D能生成哪些三维类别?
GET3D可以生成多种类别的带纹理网格,包括汽车、椅子、动物、摩托车、人物角色和建筑。项目页面上的演示视频展示了如车轮、窗户和服装纹理等细节几何。
GET3D与神经辐射场有何不同?
GET3D通过DMTet表面提取输出标准的带纹理网格文件,而非神经辐射场表示。这意味着生成的资产可以导入常见三维软件,无需定制神经渲染器。
GET3D能通过文本提示生成形状吗?
可以。GET3D支持通过在渲染的二维图像上使用方向性CLIP损失微调三维生成器,实现文本引导的形状生成,采用项目页面描述的StyleGAN-NADA方法。
GET3D是谁开发的?
GET3D由NVIDIA、多伦多大学和Vector Institute的研究人员共同开发。主要作者包括Jun Gao、Tianchang Shen和Sanja Fidler等,详见NeurIPS 2022论文。

