代币常见问题

困惑度是用于语言模型的一种测量，用于评估概率分布对样本的预测效果。它量化了模型在生成文本时的不确定性，较低的困惑度表示更好的性能。本质上，它反映了模型对所遇到的实际单词序列感到多么惊讶。

语言模型中的困惑是什么？