WebThinker: Empowering Large Reasoning Models with Deep Research Capability

步骤 1：整体框架设计

• WebThinker 有两个工作模式：问题解决模式和报告生成模式
• 问题解决模式专注于回答复杂问题（如 PhD 级别科学问题）
• 报告生成模式专注于撰写全面的研究报告

步骤 2：Deep Web Explorer 工具构建

• 模型在推理链中可以调用 Deep Web Explorer 工具
• 该工具内部有两种基本操作：搜索引擎查询（生成查询词并获取网页列表）和页面导航（点击链接或按钮，浏览页面内容）
• 探索器有自己的内部推理链，自主决定是否继续搜索或深入导航
• 最终输出一个简洁的结果，填补主推理链中的知识空白

步骤 3：报告生成的写作工具

• 除了探索工具，报告模式还配备了三个写作工具：起草、检查和编辑
• 这些工具由一个辅助 LLM 执行，将复杂的任务编排与具体的文本操作分离开来
• 所有探索过的网页被存储在文档记忆中，供写作时检索引用

步骤 4：偏好数据构建

• 使用 WebThinker 在多个复杂数据集上采样不同的推理轨迹
• 按三个优先级规则构建偏好对：(1) 正确性/报告质量优先；(2) 工具调用效率（更少的工具调用更优）；(3) 思维简洁性（更短的推理链更优）

步骤 5：迭代在线 DPO 训练

• 利用构建的偏好数据集训练模型
• 迭代过程：训练 → 用新模型采样 → 构建新偏好数据 → 更新参考策略 → 重复
• 通过与环境交互的 on-policy 方式，持续优化工具使用策略

公式 1（主推理过程）：描述了问题解决模式下的推理过程。推理链的每一步都依赖于之前的推理步骤和所有已完成的 Deep Web Explorer 返回的结果。最终答案的生成依赖于完整的推理链和原始问题。

公式 2（深度探索器内部过程）：描述探索器内部的推理过程。每一步的决策都基于当前已获取的网页内容（动态变化），决定是继续搜索/导航还是输出结果。

公式 3（报告生成过程）：辅助 LLM 根据编辑指令、从文档记忆中检索的相关文档和当前报告状态来更新报告内容。

公式 4（DPO 损失函数）：标准 DPO 损失：增大偏好轨迹的概率，降低非偏好轨迹的概率。β 控制偏离参考策略的程度，σ 是 sigmoid 函数。通过迭代在线方式，模型持续优化工具使用策略。

为什么选这些数据集？

• GPQA：测试 PhD 级别的科学问答能力，需要专业知识，最能体现"知识密集型推理"
• GAIA：测试通用 AI 助手能力，包含多层级复杂信息获取任务
• WebWalkerQA：专门测试深度网页导航和信息提取能力，直接对应 WebThinker 的核心能力
• HLE：跨学科极端难题，需要高级搜索和推理能力
• Glaive：测试开放式推理问题的报告生成能力

实验结果说明什么？

• 在 GPQA 上，WebThinker-32B-RL 达到 70.7% 准确率，超越 QwQ-32B 的 64.1%，接近 DeepSeek-R1-671B 的 74.2%
• 在 GAIA 上达到 48.5% 平均分，在 32B 模型中显著领先
• 在 WebWalkerQA 上达到 46.5%，远超所有 RAG 方法和 Search-o1
• 报告生成任务中也显著优于基线方法

Figure 1：展示了 WebThinker 在复杂推理问题解决和科学报告生成两个任务上与其他模型的整体性能对比。左图显示在 GPQA/GAIA/WebWalkerQA 等基准上的表现，右图显示报告生成质量。

Figure 3：WebThinker 框架的总览图。展示了两种模式的运作方式：(1) 问题解决模式中，推理模型调用搜索工具进行深度网页探索；(2) 报告生成模式中，模型在思考和搜索的同时利用写作工具迭代生成研究报告。

Table 1：主要实验结果表，展示了在 GPQA、GAIA、WebWalkerQA 三个基准上所有方法的详细对比。WebThinker-32B-RL 在多个子任务上取得最佳或次佳成绩。

Table 2：HLE 基准上的结果，按学科分类展示。WebThinker 在数学、生物/医学、化学等多个领域表现出色。

• 论文主要基于 QwQ-32B 作为骨干模型，未在其他规模或架构的模型上充分验证通用性
• Deep Web Explorer 的搜索深度受限于 API 调用次数和网页内容获取的质量
• 报告生成的质量评估依赖于 LLM 评判（DeepSeek-R1 + GPT-4o），可能存在评判偏差
• 迭代 DPO 训练的计算成本较高，每轮迭代需要重新采样轨迹
• 模型在某些 Level 3（最难级别）的任务上仍有较大提升空间