为什么要做知识蒸馏？

该过程使学生模型不仅能从真实标签中学习，还能从教师的软输出概率和潜在的中间表示中学习。关键优势包括：相比仅用标签训练小模型可获得更高性能，显著减小模型体积和推理成本，以及加速预测。在部署到边缘设备或有严格运行时要求的场景下，这一点至关重要。

其主要应用价值在于为资源受限设备（如手机和嵌入式系统）进行模型压缩，从部署角度提升独立运行的小模型性能，并通过在蒸馏后用有效的紧凑替代品替换大型模型来降低云端推理成本。这有助于更广泛地普及先进的 AI 能力。