请阐述高斯混合模型的基本原理、参数估计方法及其在聚类中的应用。

回答思路

1. 【回答框架 1】高斯混合模型是多个高斯分布的加权组合，用于表示复杂的数据分布。每个高斯分量对应一个潜在类别，权重表示该类别在数据中的占比。
2. 【回答框架 2】模型参数包括每个分量的均值、协方差矩阵和权重。通常使用期望最大化算法进行参数估计，通过迭代E步和M步逐步优化似然函数。
3. 【回答框架 3】在聚类中，每个样本被分配到后验概率最大的分量，实现软聚类。与K均值相比，GMM能处理不同形状的簇并给出概率归属。
4. 【回答框架 4】模型选择可通过BIC或AIC确定分量数量，避免过拟合。初始化策略和收敛条件对结果有影响。
5. 【关键点 1】GMM是多个高斯分布的加权和，参数包括均值、协方差和权重。
6. 【关键点 2】EM算法通过E步计算后验概率，M步更新参数，迭代至收敛。
7. 【关键点 3】GMM提供软聚类，能适应不同形状的簇，优于K均值的硬聚类。
8. 【关键点 4】分量数量需通过模型选择方法确定，如BIC。
9. 【关键点 5】EM算法可能陷入局部最优，需多次初始化。
10. 【易错点 1】EM算法对初始值敏感，可能收敛到局部最优。
11. 【易错点 2】协方差矩阵可能奇异，需正则化处理。
12. 【易错点 3】GMM假设数据服从高斯分布，不适用于非高斯数据。