Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

第一步：数据合成管线（3 步）

1. 数据收集与采样：从开源数据集中收集约 90K 文本推理数据和 1K 已有 TIR 数据。然后通过两种方式扩展工具调用轨迹：

• TIR 提示采样：用带工具调用指令的 prompt 让 LLM 生成带工具调用的推理链，自动调用工具获取反馈后拼回推理链继续生成
• Hint 采样：先让模型做纯语言推理，然后在不确定的地方（"maybe"、"wait"）或答案后插入工具调用提示，让模型从该点继续进行工具增强推理

2. 工具使用质量归一化：通过三种策略过滤低质量样本：

• 控制工具调用频率（去除过度调用的样本）
• 去除重复工具调用（如同一段代码反复出现）
• 格式标准化（统一特殊 token 格式）

3. 难度感知分类：对每个问题同时做纯语言推理和工具推理，按结果分为四类：

• 类别 1-2：纯推理就对，不需要工具 → 进入 SFT 的文本子集
• 类别 3：工具推理才对，证明工具有效 → 进入 SFT 的工具子集
• 类别 4：两种都不对，最难 → 专门留给 RL 阶段

第二步：两阶段训练框架

阶段 1 - 冷启动 SFT：用简单 + 中等难度数据做监督微调，让模型学会基本的工具调用模式。

阶段 2 - 多工具自批评 RL：

• 先用 K 步标准 GRPO RL 训练，获得 RL 初始化模型
• 然后自采样：让模型自己生成多个候选答案
• 用分层奖励函数给每个答案打分
• 把高分答案作为"正例"、低分答案作为"负例"，用 DPO 做偏好学习
• 这个自批评过程每 K 步穿插一次，迭代进行

六种工具设计：

• 训练工具：搜索引擎、Web 浏览器代理、代码解释器
• 推理工具：代码调试器（修 bug）、工具回溯器（回退到失败调用前）、推理链精炼器（超长时压缩）

公式 (1) - 问题建模

将多工具推理建模为自回归生成过程。推理链中每个 token 的生成概率依赖于之前所有 token、指令、问题以及之前所有工具反馈。最终答案也以自回归方式基于完整推理链生成。

公式 (3) - 分层奖励函数

如果格式正确且答案正确：奖励 = 正确性分 + 多工具协作奖励 rM。如果格式正确但答案错误：奖励 = 0。格式错误：奖励 = -1。rM（多工具协作奖励）：当推理链中同时出现 search 和 python 时给 0.1 额外奖励，否则为 0。这意味着同时使用搜索和代码会得到更高奖励。

公式 (4) - GRPO 损失

标准 GRPO 目标，包含裁剪（clip）机制和 KL 散度惩罚。用组内 rollout 的相对优势来调整策略。

公式 (5) - DPO 损失

在自批评阶段，用偏好数据做 DPO 训练，让模型给高奖励答案更高的概率。

数据集选择：覆盖两大类共 10+ 个数据集：

• 数学推理：AIME24、AIME25、MATH500、MATH、GSM8K（由易到难，从基础算术到竞赛数学）
• 知识推理：WebWalker、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle（多跳 QA，测试信息检索和整合能力）

这样设计是为了验证模型在计算型和知识型两类核心推理能力上的表现。

基线方法：覆盖三大类方法：

• 基座模型（Qwen2.5-3B、Llama3.2-3B）
• 单工具增强（ToRL 代码、DotaMath 代码、RAG/Search-o1/Search-R1 搜索）
• 多工具方法（Multi-Tool Prompting、ReCall）

关键发现：

• 仅靠 prompt 引导的多工具使用反而不如基座模型（不稳定）
• 单工具 RL 方法在擅长领域很强，但在其他领域表现急剧下降（如搜索方法在 MATH500 上准确率暴跌 20%+）
• Tool-Star 在所有数据集上都保持强势，平均准确率 46.1%（3B 模型），显著优于所有基线

Figure 1：雷达图对比 Tool-Star 与 Search-o1、Recall、ToRL 在 10 个数据集上的表现，Tool-Star 的覆盖面最广且各项均优。

Figure 2：3 步数据合成管线流程图，展示从数据收集到质量归一化再到难度分类的完整过程。

Figure 3：多工具自批评 RL 框架图，包含 GRPO 训练、自采样、奖励分配、DPO 训练的闭环。

Figure 4：左图展示工具使用效率对比；中图和右图分析推理时工具优化对 DotaMath 和 Tool-Star 的影响。

Figure 5：本地搜索 vs 网络搜索对比，Web 搜索在 2Wiki (+13%) 和 Bamboogle (+8%) 上提升显著。

Figure 6：不同参数规模（0.5B/1.5B/3B）的 RL 训练曲线。

Figure 7：100 步 RL 训练中 KL 损失、奖励、响应长度和验证分数的变化趋势。

• 规模限制：主要实验基于 3B 参数模型，更大规模模型（7B、72B）的效果有待验证
• 工具类型：目前仅支持搜索引擎、代码解释器和浏览器三种训练工具，其他类型工具（如数据库查询、API 调用）的整合尚未探索
• 延迟问题：多工具调用带来的推理延迟未做深入分析，实际部署时可能成为瓶颈
• 奖励设计：分层奖励函数中的阈值（如 rM=0.1）需要手动设定，不同任务的最优值可能不同
• 数据依赖：数据合成管线仍依赖强模型（如 Qwen2.5-72B）生成初始推理链，成本较高