请解释一下 EM 算法的基本思想、主要步骤以及它在聚类等场景中的应用。

回答思路

1. 【回答框架 1】EM 算法用于含有隐变量的概率模型参数估计，通过迭代进行期望步（E步）和最大化步（M步）来逼近极大似然估计。
2. 【回答框架 2】E步根据当前参数计算隐变量的后验概率，从而构造对数似然函数的下界；M步通过最大化该下界来更新参数。
3. 【回答框架 3】EM 算法保证每次迭代后似然函数不降，因此会收敛到局部极大值，但可能不是全局最优解。
4. 【回答框架 4】在聚类中，高斯混合模型（GMM）利用 EM 算法估计每个高斯成分的均值、协方差和权重，从而实现软聚类；K-means 可视为 GMM 的硬聚类特例。
5. 【关键点 1】EM 适用于含隐变量或缺失数据的模型，核心是交替执行 E 步和 M 步。
6. 【关键点 2】EM 迭代保证对数似然单调不减，但只能保证收敛到局部极值。
7. 【关键点 3】GMM 使用 EM 估计参数，K-means 是硬划分的特例。
8. 【易错点 1】不能保证全局最优，需多次随机初始化。
9. 【易错点 2】EM 可能收敛缓慢，且对初值敏感。