Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models

Dehui Wang, Congsheng Xu, Rong Wei, Yue Shi, Shoufa Chen, Dingxiang Luo, Tianshuo Yang, Xiaokang Yang, Wei Sui, Yusen Qin, Rui Tang, Yao Mu 2026-04-14
3D reconstruction 3D Gaussian Splatting panoramic video diffusion scene completion indoor scene

一句话总结

Rein3D 提出了一种"修复-精化"循环范式,通过径向探索策略渲染不完善的全景视频,利用全景视频扩散模型修复缺失的几何和纹理,再将修复后的高保真视频回传更新全局 3DGS 场,实现了从单张全景图出发的高质量、全局一致的 3D 室内场景重建。

背景与前置知识

3DGS:用 3D 高斯原语表示场景,通过 alpha 混合渲染。每个原语有位置、协方差、不透明度和颜色参数。

全景图:360° 全方位图像,覆盖整个球面视野,但极地区域畸变严重。

视频扩散模型:从图像扩散扩展到视频,增加时间维度确保帧间一致性。

径向探索:从场景中心沿多个方向向外移动相机,覆盖被遮挡区域。

"修复-精化"范式:粗场景 → 渲染缺陷视图 → 生成模型修复 → 回传优化场景。循环迭代。

核心思想详解

核心可以类比为"先搭框架再修补细节"。从房间中心的单张全景图出发构建粗 3D 模型,然后沿不同方向向外移动,从粗模型渲染出有缺陷的视图,用全景视频扩散模型修复,再回传优化模型。

关键优势:全景图的 360° 视野确保每次移动都看到整个场景,无累积漂移;视频扩散的时间一致性确保帧间连续;线性轨迹即可覆盖全部区域,无需复杂路径规划。

方法逐步拆解

关键公式/算法解读

实验设计分析

关键图表

局限性