Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis

Step 1: 构建 Environment-Aware Verifier 架构

DataPRM 采用与数据分析 Agent 相同的 ReAct 范式——它不只是静态地看代码，而是能通过多轮代码交互来验证步骤正确性。输入是历史轨迹加上当前步骤，DataPRM 内部执行多步推理和验证循环，最终输出评分和理由。

Step 2: Tool-Augmented 能力集成

为 DataPRM 配备了两个工具：query_document（查询文档）和 query_image（查询图像）。通过函数调用，DataPRM 可以借助外部专家模型来验证涉及文档或图像的内容。这样 DataPRM 就能全面覆盖文件、文档手册和图像等多种验证场景。

Step 3: Reflection-Aware 三元奖励策略

传统 PRM 用二元评分 (0 或 1)，DataPRM 扩展为三元：1.0（完全正确）、0.5（可恢复的探索性错误）、0.0（不可恢复的致命错误）。这个设计专门解决 Grounding Error 的误判问题——探索性步骤获得 0.5 分而不是 0 分。

Step 4: 多样性驱动的数据构建

用 Qwen3-235B 作为策略模型并行采样 K=4 条轨迹。只保留最终答案不完全一致的轨迹集（确保数据集中包含需要 PRM 做出判断的边界案例）。使用知识增强的步骤级标注：先由模型初步评分和归因，再用 DeepSeek-V3.2 作为专家标注器完成最终标注。最终构建了超过 7000 条高质量监督数据。

Step 5: 应用到 Test-Time Scaling 和 RL

TTS 阶段：用 Best-of-N、Beam Search 等搜索策略，由 DataPRM 选择最优轨迹。RL 阶段：结合 GRPO 算法，将过程奖励和结果奖励加权组合作为训练信号。

公式 (1) - 轨迹表示：h_t = (u, z_0, a_0, z_1, a_1, ..., z_{t-1}, a_{t-1}, o_t)，其中 u 是任务，z 是思考，a 是动作（代码），o 是观察结果。这是 ReAct 范式的标准轨迹格式。

公式 (2) - PRM 评分：r_t = R_θ(h_t, τ_t)，每个步骤获得一个评分，轨迹级奖励是所有步骤奖励的聚合。

公式 (6) - DataPRM 输入：将历史验证结果 f_t 也纳入输入，确保验证的一致性和全局视角。

公式 (7) - GRPO 损失函数：标准的重要性采样比例加上裁剪策略，确保 RL 训练稳定。

公式 (8) - 组合奖励：r_total = (1-β)·r_outcome + β·mean(r_prm)，平衡结果正确性和过程有效性。

公式 (10) - 一致性检查：如果 PRM 的最终判断与真实结果不一致，强制对齐。防止模型从矛盾信号中学习。

数据集选择：

• ScienceAgentBench：科学数据分析基准，包含真实科学研究任务
• DABStep：数据分析步骤评估基准
• DABench 和 TableBench：用于 RL 评估的数据分析基准

为什么选这些数据集：这些数据集涵盖了从简单到复杂的数据分析任务，且包含真实的代码执行环境，能充分测试 DataPRM 的环境交互能力。

主要指标：Success Rate (SR)、Accuracy、pass@1、pass@3。

关键结果：

• Best-of-N：在 ScienceAgentBench 上提升 7.21%，在 DABStep 上提升 11.28%
• 仅 4B 参数就超越了 72B 的 Qwen2.5-Math-PRM 和 32B 的 GenPRM
• RL 训练：在 DABench 上达到 78.73%，TableBench 上达到 64.84%

• Figure 1：数据分析 Agent 与 DataPRM 的协作流程图，展示 PRM 如何在每个步骤进行监督
• Figure 2：通用 PRM 在数据分析任务上的失败模式分析——(a) PRM 引导的搜索不如多数投票，(b) 对 Grounding Error 的错误惩罚，(c) 环境交互消融实验
• Figure 3：DataPRM 框架总览——(a) 多样性驱动轨迹生成，(b) 数据构建和验证流程
• Table 2：主实验结果，DataPRM 在 Best-of-N 下全面领先
• Table 3：消融实验，验证环境交互、多轮对话和三元奖励各自的贡献
• Figure 5：RL 训练动态，展示过程奖励避免了 entropy collapse

1. 仅关注推理和可视化类数据分析任务，未涉及模型训练和预测等工程性任务
2. 仅通过 SFT 训练 DataPRM，依赖高质量轨迹数据
3. 未来需要探索 RL 等减少人工数据依赖的训练方法