SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

阶段一：工具生成（Tool Generation）

1. Field → Sub-domain：给定一个领域（如医疗、金融），让 LLM 提出相关的子领域。要求子领域能：(a) 划分典型工作流；(b) 揭示利益相关者和实体；(c) 承载有意义的工具操作。
2. Sub-domain → Task：对每个子领域，LLM 提出一族任务。每个任务包含自然语言描述，适合用于文档和测试用例生成。
3. Task → Tool：LLM 为每个任务实例化一组具体工具。工具鼓励具备可组合性：每个工具指定上游依赖（消费什么）和下游输出（产生什么），使任务可以要求连续使用多个工具。
4. 去重：基于工具描述嵌入的语义相似度，移除近似重复的工具。实验显示仅约 9% 的工具被过滤，证明生成工具的多样性。

阶段二：工具模拟（Tool Simulation）

1. 参数验证：模拟器充当 API 网关，检查工具名、必需参数、数据类型、互斥约束等。任何条件不满足，返回具体的错误信息和 HTTP 状态码。
2. 响应生成：验证通过后，模拟器根据元数据（metadata）生成响应。分两种情况：
   • 数据生成：当调用不涉及元数据中的信息时，生成符合预定义 schema 和领域模式的合理输出
   • 信息推理：当调用需要基于元数据推理时，系统性地交叉引用信息，推导出精确的 API 响应

阶段三：工具审计（Tool Audit）

1. LLM Judge：接收工具规格、测试调用和模拟器响应作为输入，返回结构化判断（正确/错误、置信度、详细理由）。
2. 压力测试：构造六类测试用例（三种失败模式、三种成功模式），系统性验证 Judge 的准确率和误报率。
3. 过滤与重试：移除容易出错的工具规格，或重新生成响应以提高正确率。

工具形式化定义：每个工具是一个元组 (name, description, parameters, usage, failure_modes, output_schema)，包含名称、描述、参数 schema、使用说明、失败模式和输出 schema。

语义去重：设 e(t) 为工具 t 的嵌入向量，两工具间的余弦相似度为 S_ij = cos(e(t_i), e(t_j))。构建邻接矩阵 A_ij = 1{S_ij ≥ τ}（τ = 0.85），在对应的相似度图中，连通分量代表近似重复的工具集合。

去重选择算法：对每个连通分量，迭代移除度数最高且相似度权重最大的节点，直到所有剩余节点对之间的相似度低于阈值 τ。

工具生成规模

• 生成了约 5,900 个工具（去重和过滤前），覆盖 100 个领域
• 每个领域至少可生成 1,000 个工具
• 跨领域覆盖是现有工作的 2 倍以上，每领域工具数也是 2 倍以上

工具模拟准确性

• 人工评估：在 698 个工具响应中达到 97% 准确率
• ACEBench 对比：在 ACEBench 的 20 个工具、161 次调用上达到 94% 准确率
• LLM Judge 大规模评估：3,324 个响应中 94% 被判定正确

工具审计准确性

• LLM Judge 在 698 个测试中达到 99% 准确率
• 误报率 0%——成功识别所有不正确的模拟器行为

下游任务难度验证

• 使用 Claude Sonnet 4 作为 Agent 测试
• 简单任务（≤4 个工具）可以可靠解决
• 复杂任务（11 个工具、19 次最优调用）Agent 在 30 轮内仍无法完成

• Figure 1：SynthTools 在领域数和每领域工具数上均超过所有现有基准 2 倍以上；模拟和审计模块分别达到 94% 和 99% 准确率
• Figure 2：金融交易领域的一个生成工具示例（ReturnStatusTracker），展示了丰富的失败模式和输出 schema
• Figure 3：层次化领域进化流程（E-Commerce → Inventory Management → Order Processing → 具体 Tools）
• Figure 4-5：工具嵌入的 t-SNE 可视化，展示跨领域和领域内工具的多样性分布
• Figure 8-9：电商领域的一个完整任务（退货处理），包括任务规格、元数据和所需工具集
• Figure 10：人工标注的最优解 vs Claude Sonnet 4 的失败轨迹对比

1. 成本问题：使用 Claude Sonnet 4 作为模拟器和 Judge，大规模使用时成本较高。论文建议未来可用小模型配合演示数据来降低成本。
2. 任务生成：目前只生成了"几十个"多轮任务作为展示，尚未实现完全自动化的大规模任务生成。
3. 任务评估：Agent 性能评估规模有限，主要展示了个案分析（复杂任务的失败轨迹），缺少系统性的大规模基准测试。
4. 真实 API 的保真度：虽然工具看起来逼真，但论文没有系统评估合成工具上训练的 Agent 在真实 API 上的迁移表现。
5. LLM 作为工具的固有局限：工具模拟和审计都依赖 LLM，LLM 本身的不确定性可能带来隐蔽的错误。