在白盒蒸馏中，除了KL散度之外，还有哪些常用的损失函数设计方式？

Question

Accepted Answer

考察点：考察对知识蒸馏损失函数设计的理解与扩展。回答思路：能列举多种替代或改进的损失函数 解释每种方法的原理和适用场景 说明与KL散度相比的优缺点 能结合温度、特征对齐或梯度传递等细节

考察说明