UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning

第一步：数据清洗与增强（Data Pipeline）

1. 预处理：用 OmniParser V2 检测截图中所有 UI 元素，通过 IoU 匹配找到与 ground-truth 最匹配的边界框，过滤掉不匹配的噪声样本。这一步把原数据中 23.3% 的质量问题降到了 8% 以下。
2. 多视角指令增强：对每个样本，用 GPT-4.1 生成四种视角的指令：
   • 外观（Appearance）："点那个红色的 X 图标"
   • 功能（Function）："关闭当前文件管理器窗口"
   • 位置（Spatial/Location）："点右上角的按钮"
   • 意图（Goal/Intent）："关掉这个屏幕"
3. 验证过滤：GPT-4.1 再次检查每条生成的指令，确认它唯一指向目标元素（不能有歧义，不能指向多个元素）。

第二步：SFT 阶段——学习多样推理

在 SFT 阶段，训练数据被构造成：输入 =（截图 + 一种视角的指令），输出 =（另一种视角的推理文本 + 最终坐标）。

举个例子：

• 输入指令（功能视角）："点击 CSDN 书签"
• 模型思考输出（外观视角）："我将从外观角度分析——点击书签栏中带有红色 C 图标和 CSDN 标签的书签"
• 最终输出：坐标 [588, 67]

这种设计巧妙的地方在于：它强制模型学会把一种指令翻译成另一种视角的描述，然后再根据翻译后的描述定位元素。经过大量训练后，模型内化了"多视角推理"的能力。

第三步：RL 阶段——学习选择最优视角

SFT 教会了模型"会"从多视角推理，但没教它"什么时候用什么视角"。RL 阶段解决这个问题。

• 训练时不再指定使用哪种视角，只要求模型"think"然后再输出坐标
• 用 GRPO 算法优化，奖励函数是简单的 point-in-box：预测点在 ground-truth 框内 → reward=1，否则 → reward=0
• 模型通过探索（生成 8 个 rollout），自己发现哪些推理路径能带来更高准确率

关键设计细节：

• SFT 阶段的 prompt 明确列出了四种视角的定义（Appearance/Function/Spatial/Goal Perspective）
• RL 阶段的 prompt 去掉了这些定义，只说"你先想想再回答"，鼓励自由探索
• 这样设计是因为：如果 RL 阶段还给定视角，模型就只会从这四个里选；去掉限制后，模型甚至能涌现出训练时没见过的全新推理视角

SFT 阶段的目标函数（公式 1）

最大化模型生成正确输出序列的概率。目标序列由两部分拼接而成——推理文本（从增强的指令视角中随机采样一个）和坐标点。模型被要求先"说"出推理过程，再"点"出坐标。

GRPO 的优势计算（公式 2）

对一组 G 个 rollout 的奖励做 Z-score 标准化。这个设计的直觉是：不是关心"这个动作的绝对好坏"，而是关心"在当前这组尝试里，这个动作比平均好多少"。这避免了奖励尺度不一致的问题。

GRPO 的优化目标（公式 3）

对于每个 rollout，如果它的优势是正的（比平均好），就增大它在新策略下被选中的概率；如果是负的（比平均差），就减小。除以旧策略概率是为了做重要性采样修正。

为什么选这些 benchmark？

• MMBench-GUI L2：测试对层次化指令的理解，分 Basic（直接描述外观）和 Advanced（描述用途/意图）两个难度，能区分模型是真的理解了指令还是只会匹配文字
• UI-I2E-Bench：分 Explicit（显式）和 Implicit（隐式）指令，测试模型的语义推理能力
• ScreenSpot-Pro：高分辨率专业软件截图（CAD、开发工具、创意软件），测试模型对复杂界面的感知能力
• ScreenSpot-V2 & ShowDown：跨平台（Mobile/Desktop/Web）的通用 grounding 测试
• AndroidWorld：动态在线环境，测试真实场景中 grounding 的稳定性和泛化能力

实验结果说明了什么？

• UI-Ins-32B 在所有 benchmark 上都是 SOTA，特别是在理解和推理类任务上优势更明显
• 在 MMBench-GUI L2 上，UI-Ins 相对基础模型的提升在 Advanced 子集上更大（24.5% vs 12.3%），说明多视角推理确实增强了复杂指令理解
• AndroidWorld 上 74.1% 的成功率（比 Qwen2.5-VL-7B 的 50.0% 高 24.1%）说明强大的 grounding 能直接转化为更好的 agent 表现

消融实验的关键发现：

• 去掉中间推理步骤 → UI-I2E 准确率下降超过 10%，说明推理过程是必需的，不是花架子
• 只用 SFT 或只用 RL → 都不如 SFT+RL 组合，说明两个阶段不可偏废
• Free-Form Reasoning 在 GRPO 中会降低性能（UI-Tars-1.5-7B 下降 6.4%），而 Instruction-as-Reasoning 始终提升（Qwen2.5-VL-7B 提升 9.9%）
• 标准 SFT+RL 框架容易出现策略崩溃（RL 后性能反而下降），但 Instruction-as-Reasoning 的 SFT 阶段提供了多样化探索能力，避免了这个问题

Figure 1：UI-Ins 的 scaling 性能对比图。随参数量增加（2B→32B），UI-Ins 在 MMBench-GUI L2 和 UI-I2E Bench 上均保持对其他方法的显著优势，且 7B 模型就超过了某些 72B 模型。

Figure 2：(a) 四种指令视角下的模型性能对比，Combined（最优选择）远超任何单一视角；(b) 原始数据的质量问题分布：23.3% 有缺陷；(c) 清洗数据训练后的模型在多个 benchmark 上一致优于原始数据训练的模型。

Figure 6：Instruction-as-Reasoning 框架全景图。左侧是 SFT 阶段（给定视角→推理→坐标），右侧是 RL 阶段（自由探索→GRPO 优化）。

Figure 8：(a) 模型在推理时能组合多个视角（1-6 个）进行分析；(b) RL 后模型探索出了训练时未见过的全新视角（如 Structural Relationship, Component Type, State 等）。

Figure 9：展示了 UI-Ins 的三种涌现推理能力：(1) 单视角推理、(2) 多视角组合推理、(3) 组合+涌现视角推理（包含了训练中未见的 Group Affiliation、State、Prediction 等视角）。

• 缺乏领域知识：模型无法将抽象描述（如"以积木玩具闻名的公司"）与具体品牌实体（如"MEGA"）关联，需要外部知识库支持
• 界面布局理解不足：在复杂布局中，模型有时无法准确判断哪个区域是可点击的操作目标
• 视觉歧义和幻觉：当界面中存在视觉相似的图标时，模型容易混淆并选错目标