了解信息内容的概念

Question

我不学习计算机科学，但我有兴趣了解信息内容的概念。

我看到这两个例句：

a) On July 5th, it was over 100°F 
b) On July 5th, it was 98°F 

它说的那句话二）具有较高的信息含量，因为句子一）有只比高于和句子b减少/可能性比较大）的是无限的可能性。

我会同意b）有更高的信息含量，但我不明白解释。

我会说b）有更高的信息量，因为它告诉你究竟是什么温度。

但我想我的直觉上的理解是不正确的。如果没有解释的余地​​，我会说一条消息具有很高的信息内容。

a) Tomorrow, someone will visit me. 
b) Tomorrow, my aunt will visit me. 

我会自发地说，b）更具信息性，因为它告诉你究竟是谁来访问。这是正确的吗？

形成我的非科学理解，高信息含量会很好，因为它让你毫无疑问。但我认为在信息理论中，高信息量是不好的，因为它意味着消息需要大量的编码信息，而信息并不是很好，而只是需要传输的东西。这是一个好方法吗？

Answer 1

您的直觉是正确的：您需要平均询问以确定细节的附加二进制问题的数量本质上就是信息内容。

但是，没有固有的好或坏信息论，除非你有一个目标。如果你的目标是压缩信号，信息理论说可达到的极限是由信息内容给出的。所以在这个意义上，低信息内容信号更压缩（这可能是一件好事，如果这是你在找什么。）

对于通信信道，你想最大化你的信道容量的使用。如果您没有将频道用于最大容量，则信息内容将不会尽可能高。

用于进行纠错，你想有冗余，这具有相同的信息内容，但更大的位表示。每个符号的最小信息内容意味着没有纠错，所以这是不好的。