请用数学表达式或文字描述贝尔曼方程的完整形式，并说明其在强化学习中的作用。

回答思路

1. 【回答框架 1】贝尔曼方程是强化学习中描述状态价值或动作价值递归关系的基本方程，其核心思想是当前状态或动作的期望回报等于即时奖励与下一状态或动作的折扣期望回报之和。
2. 【回答框架 2】对于状态价值函数，标准形式为V(s) = E[R_{t+1} + γ * V(S_{t+1}) | S_t = s]，其中γ∈[0,1]为折扣因子，用于权衡即时和长期回报。这一递推关系将当前状态的价值与其后续所有可能状态的价值联系起来。
3. 【回答框架 3】对于动作价值函数，形式为Q(s,a) = E[R_{t+1} + γ * max_{a'} Q(S_{t+1}, a') | S_t = s, A_t = a]，用于处理策略优化问题。贝尔曼方程还可基于给定策略π定义为V_π(s) = Σ_a π(a|s) Σ_{s',r} p(s',r|s,a)[r + γ V_π(s')]。
4. 【回答框架 4】该方程在动态规划中可用于策略评估和策略迭代，例如通过值迭代或策略迭代算法求解最优策略。同时它也是时序差分学习和Q-learning等无模型强化学习算法的基础。
5. 【回答框架 5】实践中常见的是最优贝尔曼方程，即取行动中的最大值，用于寻找最优价值函数V*和Q*，并据此导出最优策略。
6. 【关键点 1】贝尔曼方程形式：V(s) = E[R + γV(S')]，其中γ为折扣因子。
7. 【关键点 2】方程本质是递推关系，描述了当前状态价值与后续状态价值的关系。
8. 【关键点 3】强化学习中的值迭代、Q-learning等算法均基于此方程进行求解。
9. 【易错点 1】混淆状态价值与动作价值，误将最优贝尔曼方程写成求均值而非取最大值。
10. 【易错点 2】忽略折扣因子γ的取值范围，导致收敛性问题。
11. 【易错点 3】将等式强行理解为一步立即回报，忽视了期望和下一状态的递归性质。