阿里巴巴面试题更新 2026-08-05
强化学习中，请对比DPO、PPO和GRPO的原理与区别，并写出DPO的Loss函数公式。
阿里巴巴人工智能电商问题拆解技术原理技术选型
考察说明
考察对强化学习对齐算法原理的深入理解与数学表达能力
回答思路
- 准确阐述PPO的Actor-Critic框架、重要性采样与裁剪目标
- 解释DPO如何通过偏好数据直接优化策略，避免显式奖励模型和强化学习流程
- 说明GRPO基于分组采样的优势估计特点，以及其与PPO的简化和区别
- 正确写出DPO的loss公式，并解释其推导逻辑
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
