一句话总结
Rein3D 提出了一种"修复-精化"循环范式,通过径向探索策略渲染不完善的全景视频,利用全景视频扩散模型修复缺失的几何和纹理,再将修复后的高保真视频回传更新全局 3DGS 场,实现了从单张全景图出发的高质量、全局一致的 3D 室内场景重建。
背景与前置知识
▼3DGS:用 3D 高斯原语表示场景,通过 alpha 混合渲染。每个原语有位置、协方差、不透明度和颜色参数。
全景图:360° 全方位图像,覆盖整个球面视野,但极地区域畸变严重。
视频扩散模型:从图像扩散扩展到视频,增加时间维度确保帧间一致性。
径向探索:从场景中心沿多个方向向外移动相机,覆盖被遮挡区域。
"修复-精化"范式:粗场景 → 渲染缺陷视图 → 生成模型修复 → 回传优化场景。循环迭代。
核心思想详解
▼核心可以类比为"先搭框架再修补细节"。从房间中心的单张全景图出发构建粗 3D 模型,然后沿不同方向向外移动,从粗模型渲染出有缺陷的视图,用全景视频扩散模型修复,再回传优化模型。
关键优势:全景图的 360° 视野确保每次移动都看到整个场景,无累积漂移;视频扩散的时间一致性确保帧间连续;线性轨迹即可覆盖全部区域,无需复杂路径规划。