MSE 损失和 GAE 损失在大模型（强化学习训练）中分别是怎么计算的？

回答思路

1. 准确描述 MSE 损失的数学公式和用途
2. 准确描述 GAE（广义优势估计）的递推公式和参数含义
3. 说明两者在大模型 RLHF/PPO 训练中的具体使用场景
4. 解释 GAE 中的 lambda 和 gamma 如何权衡偏差与方差