知识蒸馏是什么意思？

这一过程通常涉及训练学生模型，不仅学习标准的硬标签（如正确的类别答案"猫"），更重要的是学习教师输出的"软标签"——即教师 softmax 层生成的类别概率分布（如"猫"的概率高、"猞猁"的概率中等、"虎"的概率低）。这些软标签包含了关于教师已学表示以及类别间关系的更丰富信息。知识蒸馏可以迁移不同类型的"知识"，例如输出分布（最常见）、中间特征表示或数据点之间的关系信息。

知识蒸馏支持在资源受限的边缘设备或移动应用上部署高性能深度学习模型，而原始教师模型在这些场景下体积过大或计算量过重。它实现了模型压缩，降低了推理延迟和内存占用，有时甚至通过充当正则化手段改善泛化能力。知识蒸馏被广泛用于创建更小、更快的模型，适用于生产环境，且不会显著损失精度。