0
在Tensorflow中,我得到的输出是0.602129或0.663941。看起来,接近于0的值意味着更好的模型,但似乎困惑应该被计算为2 ^损失,这意味着损失是负的。这没有任何意义。语言模型的困惑度如何在0和1之间?
在Tensorflow中,我得到的输出是0.602129或0.663941。看起来,接近于0的值意味着更好的模型,但似乎困惑应该被计算为2 ^损失,这意味着损失是负的。这没有任何意义。语言模型的困惑度如何在0和1之间?
这对我没有多大意义。困惑度计算为2^entropy
。而熵是从0到1.所以你的结果是< 1没有意义。
我建议你看看你的模型如何计算困惑,因为我怀疑可能有错误。