请写出贝尔曼期望方程，并说明其含义。

回答思路

1. 能准确写出状态价值函数的贝尔曼期望方程
2. 能解释各符号含义，如状态、动作、奖励、折扣因子
3. 能区分状态价值与动作价值函数
4. 能提到其反映的即时奖励与未来收益的递归关系