在蒸馏微调过程中，你是只使用了数据集中的硬标签，还是也利用了教师模型的 logits 软标签？两种方式的优缺点是什么？

Question

Accepted Answer

考察点：考察对软标签蒸馏与硬标签训练差异的理解。回答思路：准确区分硬标签和 logits 软标签蒸馏的本质区别 能说明软标签保留类别间相似度信息的优势 能指出软标签训练对教师模型质量与计算资源的额外要求

考察说明