信息论

1948 年，美国数学家克劳德·香农发表论文《通信的数学理论》（A Mathematical Theory of Communication），奠定了信息论的基础。今天，信息论在信号处理、数据压缩、自然语言等许多领域，起着关键作用。虽然，它的数学形式很复杂，但是核心思想非常简单，只需要中学数学就能理解。

信息论背后的原理是从不太可能发生的事件中能学到更多的有用信息，发生可能性较大的事件包含较少的信息；发生可能性较小的事件包含较多的信息；独立事件包含额外的信息。