请简要说明时间差分（TD）算法的原理、特点及其与其他强化学习算法（如蒙特卡洛方法）的区别。

回答思路

1. 【回答框架 1】时间差分（TD）算法是强化学习中结合蒙特卡洛和动态规划思想的时序差分方法，利用后续状态的价值估计来更新当前状态的价值，属于自举（bootstrap）方法，无需等待完整轨迹结束，可在线增量更新。
2. 【回答框架 2】TD算法的核心更新公式为 V(s) ← V(s) + α·(r + γ·V(s') - V(s))，其中α为学习率，γ为折扣因子，r为即时奖励，V(s')为下一状态的估计价值。它通过估计误差（TD误差）进行更新。
3. 【回答框架 3】与蒙特卡洛方法相比，TD算法方差更低、收敛更快，但引入偏差；与动态规划相比，TD无需环境模型，直接从经验中学习。TD算法包括单步TD（TD(0)）和多步TD（TD(λ)），其中TD(λ)通过资格迹在效率与偏差间权衡。
4. 【回答框架 4】TD算法广泛应用于时序预测和无模型控制，如Q-learning和SARSA都是基于TD思想的经典算法。实际应用中需注意学习率和折扣因子的调参，以及自举带来的过估计问题。
5. 【回答框架 5】对TD算法的理解应结合其在线学习、低方差、有偏估计的特点，并认识到不同变体（如TD(0)、TD(λ)）的适用场景。
6. 【关键点 1】TD算法属于自举方法，结合蒙特卡洛采样与动态规划的自举特性。
7. 【关键点 2】更新公式利用当前状态价值与下一状态估计价值的差值，无需完整轨迹。
8. 【关键点 3】与蒙特卡洛对比，TD方差低但可能引入偏差；与动态规划对比，TD无需环境模型。
9. 【关键点 4】TD(λ)引入资格迹权衡偏差与方差，Q-learning和SARSA基于TD思想。
10. 【易错点 1】不区分TD与蒙特卡洛的核心差异：蒙特卡洛需完整轨迹，TD可在线更新。
11. 【易错点 2】忽视TD的自举特性，可能误解其更新来源。
12. 【易错点 3】忽略学习率和折扣因子对收敛性的影响。