对称的 CLIP 训练方式可能会遇到哪些问题？请从优化目标、梯度与表示对齐等角度说明。

Question

Accepted Answer

考察点：考察对 CLIP 对比学习架构局限性的理解与工程直觉。回答思路：指出对称 InfoNCE 损失带来的训练不稳定性或模式坍缩风险 分析梯度来源与负样本影响，解释为何常数缩放导致梯度问题 讨论对称性如何影响多模态表示对齐的语义质量 提出改进方向如非对称损失、温度调节、负样本策略

考察说明