|
研究人员开发了一种名为“WildGaussians”的新方法，能够根据用户拍摄的网络照片进行逼真的3D重建。这一技术由布拉格捷克技术大学和苏黎世联邦理工学院的团队推出，旨在将3D高斯混合技术应用于网络上的非结构化照片集，例如地标图像。
“WildGaussians”方法解决了非结构化图像集3D重建中的两个主要挑战：外观和光照变化以及移动物体的遮挡。为此，团队开发了两个关键组件：外观建模和不确定性建模。外观建模允许“WildGaussians”处理在不同条件下（如一天中的不同时间或不同天气）拍摄的图像。通过使用可训练的嵌入和神经网络（MLP），该方法能够调整高斯分布的颜色以适应相应的拍摄条件。
不确定性建模则有助于在训练过程中识别和忽略遮挡物，如行人或汽车。研究人员利用预先训练的DINOv2特征，这些特征对景观变化的适应性更强，从而提高了3D重建的准确性。
在测试中，“WildGaussians”在两个具有挑战性的数据集上表现出色：具有不同遮挡程度的NeRF On-the-go数据集和包含用户在不同条件下拍摄的著名地标图像的旅游照片数据集。新方法在大多数示例中超越了当前最先进方法的质量，同时在Nvidia RTX 4090 GPU上实现了每秒117张图像的实时渲染。
研究人员认为，“WildGaussians”是朝着从嘈杂的用户生成数据源进行稳健且多功能的照片级真实感重建迈出的重要一步。尽管该方法在物体上的镜面高光表示等方面仍有局限性，但他们计划通过集成扩散模型等其他信息源来减少这些局限性。
项目页面提供了更多示例和比较，展示了“WildGaussians”在3D重建领域的潜力和进步。这一突破性的技术为从用户生成的图像数据中提取更准确、更逼真的3D模型提供了新的可能性。
| 
