From Seeing to Simulating: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation

生成式场景构建

单张360°全景图 → Marble世界模型 → 3DGS（视觉渲染）+ 碰撞网格（物理交互）。通过自然语言提示（如"把橱柜改成灰蓝色"）编辑生成数字表亲。

多房间拼接

粗对齐：SuperPoint + LightGlue 特征匹配，通过已知相机高度恢复度量尺度。精细优化：Point-to-Plane ICP。最终将多个房间的3DGS合并到统一坐标系。

高保真交互仿真

三种交互式物体资产库：刚性（凸分解）、关节（精确关节限制）、柔性（PBD/FEM/动态网格）。LLM提供常识放置先验。

四个泛化层次

Train → Unseen Scene → Unseen Object → Unseen Scene & Object

度量尺度恢复：t_ab = α·t̂_ab, α = h / median({n^T p_i | p_i ∈ P_g})。利用已知相机高度 h 恢复单目视觉中丢失的度量尺度。

ICP损失：E_ICP = Σ((T_fine·p_i^a - p_j^b)^T n_j^b)²。最小化点到对应点所在平面的有符号距离平方和。

泛化层次设计：四个逐渐严格的测试条件，层层递进地诊断策略在不同维度上的脆弱性。

任务谱：刚性（摆餐具）、关节（开微波炉/关抽屉）、柔性+流体（叠衣/倒水/切香肠/组装汉堡）。

评估策略：ACT, DP, SmolVLA, π₀ 四种代表性方法。

发现：

• 数字表亲数据显著提升泛化：Pour Water 的 S&O 泛化从0.46→0.70
• 纯仿真(Twin) ≈ 真实数据：50条Sim vs 50条Real表现相当
• 仿真-真实 Pearson r=0.91——仿真评估可靠预测真实性能
• 1000条表亲数据使成功率从10%升至85%
• 多房间导航：零样本策略VLFM达68%成功率

• 图1: WorldComposer框架——全景图→数字表亲→机器人任务
• 图2: 系统架构——Marble生成、多房间拼接、资产库
• 图3: 8种仿真任务和数字表亲示例
• 图5: 真实→仿真→真实流水线和定性分析
• 图6: 性能随表亲数据规模增长曲线（10%→85%）
• 图7: 仿真-真实相关性散点图（r=0.91）
• 图8: 多房间导航轨迹和第一人称视角
• 表I-III: DP/π₀仿真和真实世界评估
• 表IV: 多房间导航结果

• 当前Marble生成整体场景网格，无法独立操作单个物体
• 多房间拼接处存在纹理不连续问题
• 场景生成质量受限于Marble世界模型能力
• 3DGS大量高斯原语在高分辨率渲染时计算开销较大