在PPO算法中，KL散度的约束项能否替换为交叉熵？请说明理由。

Question

Accepted Answer

考察点：考察对PPO目标函数中KL散度作用的理解和迁移能力。回答思路：明确PPO中KL散度用于约束新旧策略差异 指出交叉熵无法衡量方向性且常数项不影响优化 说明替换交叉熵会失去惩罚单方向偏离的作用

考察说明