AI 中的困惑度是什么意思？

困惑度衡量语言模型在预测序列中下一个 token 时的不确定性程度。它量化模型对未见文本的预测置信度，值越低表示性能越好。

从数学上看，它是测试集按单词数归一化后的逆概率。困惑度越低意味着模型对测试数据分配的概率越高。它主要用于比较同一数据集上的不同模型，或跟踪训练进度。注意，较低的困惑度并不保证更好的现实任务性能或语言流畅度。

其关键价值在于评估语言模型质量，尤其是在模型开发、微调和选择阶段，比较不同架构或训练方法。开发者在进行代价高昂的现实任务评估之前，大量使用它来高效评估内在预测能力。它是 NLP 研究和应用开发中的基础指标。