什么是知识蒸馏？

知识蒸馏是一种模型压缩技术，其中小型高效的学生模型通过学习来复制更大、更复杂的教师模型的行为。其核心目标是以更小的规模和更低的计算成本实现可比的性能。教师主要通过软目标（使用更高温度参数软化的输出概率）将知识传递给学生，这些软目标揭示了比硬标签更丰富的类间关系。关键因素包括选择兼容的架构、调整蒸馏温度，以及在模仿教师软标签的损失与标准训练损失之间取得平衡。

该技术支持在移动手机或嵌入式系统等资源受限的设备上部署强大的深度学习模型。其主要商业价值在于显著减小模型体积和推理延迟，同时保持高精度，从而降低运营成本并拓宽应用可能性。对于高效扩展和实时 AI 应用，知识蒸馏至关重要。