通过两个潜码生成3D SDF和纹理场。我们利用DMTet从SDF中提取3D表面网格,并查询表面点处的纹理场以获得颜色。我们使用2D图像上定义的对抗性损失进行训练。特别是,我们使用基于光栅化的可微分渲染器来获得RGB图像和轮廓。我们利用两个2D鉴别器,分别在RGB图像和剪影上,对输入是真实的还是虚假的进行分类。整个模型是端到端可训练的。
随着几个行业正在转向对大规模3D虚拟世界进行建模,对能够在3D内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中,我们的目标是训练高性能的3D生成模型,这些模型可以合成可以被3D渲染引擎直接使用的纹理网格,从而可以立即在下游应用中使用。关于3D生成建模的现有工作或者缺乏几何细节,受限于它们能够产生的网格拓扑,通常不支持纹理,或者在合成过程中利用神经渲染器,这使得它们在普通3D软件中的使用不是微不足道的。在本文中,我们介绍了一个生成模型GET3D,它可以直接生成具有复杂拓扑结构、丰富几何细节和高保真纹理的显式纹理3D网格。我们将最近在可微分曲面建模、可微分渲染以及2D生成对抗网络方面的成功结合起来,从2D图像集合中训练我们的模型。GET3D能够生成高质量的3D纹理网格,从汽车、椅子、动物、摩托车和人类角色到建筑物,实现了对以前方法的重大改进。
* 本站资源均收集整理于互联网,其著作权归原作者所有,如果有侵犯您权利的资源,请来信告知,我们将及时撤销相应资源。