一句话总结
SIM1 是首个专门为柔性物体操作设计的物理对齐仿真数据引擎,通过精确的场景数字化、稳定化的柔性体解算器和扩散轨迹生成,实现纯合成数据训练的策略零样本迁移到真实机器人,达到 15:1 的数据性价比。
背景与前置知识
▼柔性物体操作的独特挑战
与刚性物体不同,柔性物体(衣物、毛巾、布料)在操作过程中形状、接触点和拓扑结构持续变化。传统刚性物体方法(如抓取点检测、简单拾取放置)完全不适合。
Real-to-Sim-to-Real (R2S2R)
先对真实环境进行数字化重建(Real→Sim),在仿真中生成和扩增数据,然后将训练好的策略部署回真实世界(Sim→Real)。
顶点块下降法 (VBD) 与应变约束
VBD 将布料网格顶点视为粒子,通过迭代优化更新位置以最小化能量。应变约束控制顶点之间的最大允许拉伸距离。SIM1 在此基础上增加了增强型 VBD 来稳定刚-柔交互。
核心思想详解
▼核心理念:仿真失败不是因为它是"合成的",而是因为它"没有接地气"(ungrounded)。在柔性物体操作中,几何、物理和运动三个层面的微小不匹配都会被形变放大。
类比:教人叠衬衫。如果用完全不同的衬衫(尺寸、材质、版型)教学,学到的技巧用不上。SIM1 的做法是:先精确测量真实衬衫的每一个参数,在仿真中创建完全一致的"数字克隆",再基于精确克隆来设计和扩增训练数据。
三层物理对齐:
- 几何对齐:亚毫米精度的3D扫描重建
- 动态对齐:稳定化解算器 + 物理参数校准
- 运动对齐:结构化轨迹分解 + 扩散运动生成