Proximal Policy Optimization Algorithms

第一步：定义概率比率

r_t(theta) = pi_theta(a_t|s_t) / pi_theta_old(a_t|s_t)。当 theta = theta_old 时，r = 1。该比率衡量了新旧策略之间的差异程度。

第二步：构建代理目标函数（CPI 目标）

L_CPI(theta) = E_t [ r_t(theta) * A_hat_t ]。这是 TRPO 中原始的代理目标，不加约束时最大化该目标会导致策略更新过大。

第三步：引入裁剪操作（Clipped Surrogate Objective）

L_CLIP(theta) = E_t [ min( r_t(theta) * A_hat_t, clip(r_t(theta), 1-epsilon, 1+epsilon) * A_hat_t ) ]。其中 epsilon 是一个超参数（通常取 0.2）。裁剪将概率比率限制在 [1-epsilon, 1+epsilon] 区间内，然后取裁剪与未裁剪目标的较小值。

第四步：理解裁剪的两种情况

• 当 A_hat_t > 0（正优势）时：鼓励增大 r_t，但不超过 1+epsilon，防止过度增大策略中好动作的概率
• 当 A_hat_t < 0（负优势）时：鼓励减小 r_t，但不低于 1-epsilon，防止过度减小策略中差动作的概率

第五步：自适应 KL 惩罚（替代方案）

除了裁剪目标外，PPO 还提供了一种基于自适应 KL 散度惩罚的方案：L_KLPEN(theta) = E_t [ r_t(theta) * A_hat_t - beta * KL[pi_theta_old, pi_theta] ]。其中 beta 根据实际 KL 散度与目标值 d_targ 的比较动态调整。

第六步：完整的 PPO 算法流程

• 使用 N 个并行 actor，每个运行当前策略 pi_theta_old 采集 T 步数据
• 计算优势估计 A_hat_1, ..., A_hat_T
• 构造代理损失函数（结合裁剪目标、值函数误差和熵奖励）
• 使用 minibatch SGD（通常为 Adam 优化器）对 K 个 epoch 进行优化
• 更新 theta_old <- theta

PPO-Clip 核心目标

L_CLIP(theta) = E_t [ min( r_t(theta) * A_hat_t, clip(r_t(theta), 1-epsilon, 1+epsilon) * A_hat_t ) ]。这是 PPO 的核心公式。min 操作确保了目标函数是真实目标的悲观下界。epsilon 通常取 0.2，控制每次策略更新的幅度。裁剪不直接限制策略参数，而是通过修改目标函数间接约束更新步长。

PPO-Penalty 目标

L_KLPEN(theta) = E_t [ (pi_theta(a_t|s_t) / pi_theta_old(a_t|s_t)) * A_hat_t - beta * KL[pi_theta_old, pi_theta] ]。使用自适应的 KL 散度惩罚系数 beta。实验中表现不如裁剪方案，但作为重要基线被保留。

完整的目标函数

L_CLIP+VF+S(theta) = E_t [ L_CLIP(theta) - c1 * L_VF(theta) + c2 * S[pi_theta](s_t) ]。其中 L_VF 是值函数的均方误差损失，S 是策略的熵奖励（鼓励探索），c1、c2 是对应的系数。

优势估计（GAE）

delta_t = r_t + gamma * V(s_{t+1}) - V(s_t)；A_hat_t = delta_t + (gamma*lambda)*delta_{t+1} + ... + (gamma*lambda)^{T-t+1} * delta_{T-1}。使用广义优势估计（GAE），通过 lambda 参数在偏差和方差之间权衡。当 lambda = 1 时，退化为蒙特卡洛回报估计。

实验一：代理目标函数对比

在 7 个 MuJoCo 连续控制任务上对比了多种代理目标变体：无裁剪无惩罚、不同 epsilon 值的裁剪、自适应 KL 惩罚和固定 KL 惩罚。每个设置在所有 7 个环境上运行 3 个随机种子，训练 100 万步。结果显示裁剪方案（epsilon=0.2）取得最佳平均归一化得分 0.82，无裁剪无惩罚方案得分 -0.39。

实验二：与其他算法的对比

在相同的 7 个 MuJoCo 环境上，将 PPO（epsilon=0.2）与 TRPO、CEM、Vanilla PG（自适应步长）、A2C、A2C+Trust Region 进行了对比。PPO 在几乎所有连续控制环境中都优于其他方法。

实验三：3D 人形机器人展示

在 Roboschool 的 3D 人形机器人任务上展示了 PPO 处理高维连续控制问题的能力，包括前进跑步、目标追踪和被方块投掷时的恢复。训练持续 5000 万至 1 亿步。

实验四：Atari 游戏对比

在 49 个 Atari 游戏上与 A2C 和 ACER 进行了对比。PPO 在"整个训练过程的平均奖励"指标上赢得 30 场游戏，在"最后 100 个回合的平均奖励"指标上赢得 19 场，整体表现优于 A2C，与 ACER 相当但实现更简单。

• Figure 1：展示了 L_CLIP 随概率比率 r 变化的曲线。对于正优势（A>0），r 被上界 1+epsilon 裁剪；对于负优势（A<0），r 被下界 1-epsilon 裁剪。直观展示了裁剪如何限制策略更新。
• Figure 2：在 Hopper-v1 上展示了不同代理目标随策略插值的变化。L_CLIP 始终是 L_CPI 的下界，在 KL 散度约 0.02 处取得最大值。
• Figure 3：7 个 MuJoCo 环境上各算法的学习曲线对比，PPO 在大多数环境中表现最优。
• Table 1：不同代理目标变体的归一化得分汇总，裁剪 epsilon=0.2 以 0.82 分排名第一。
• Table 2：Atari 游戏上 PPO vs A2C vs ACER 的胜负统计。

• 论文未提供严格的理论收敛性证明，主要依赖实验验证
• 裁剪参数 epsilon 的选择仍需经验调整，论文建议 0.2 但未给出自适应选择机制
• 自适应 KL 惩罚方案的表现不如裁剪方案，且惩罚系数的调整规则（1.5 和 2 的倍数）是经验性的
• 实验中未使用参数共享（策略与值函数分开），限制了对其在共享架构下表现的评估
• 论文承认在部分 Atari 游戏上 PPO 不如 ACER，说明方法并非在所有场景下都最优
• 缺少与当时最新离线（off-policy）方法（如 DDPG、SAC 等）的系统对比