不同的分词策略如何影响困惑度测量？

嘿，你有没有想过不同的拆分令牌方式如何影响困惑度测量？这有点像我们切披萨的方式会改变我们的体验。我对这些策略如何帮助更好地理解语言模型很感兴趣！你怎么看？