信息熵和热力学熵是同一种东西。
熵在物理学有悠久历史，在一个热力学系统中，熵是一个热力学函数，其值和系统的路径没有关係（path-independent），而熵的改变是能量改变除以温度，跟统计一点儿关係也没有。后来Boltzmann提出物理系统的统计假设，并指出熵实际是，而且W是一个微观态的权重。在任何统计力学的课本中，我们可看到这式如何被推演为。
后来在信息学中，我们希望知道一个统计系统的资讯量有多少。信息熵可这样写成：。信息熵是描述事件给我们的惊讶（surprise）程度，如果所有事件的概率均等，那熵值便最大，但如有一事件的概率极高而其他极低，熵值便极低。惊讶程度（资讯量）越大，熵值越少。对数以2为底，因为这样的熵定义可使我们知道这一堆事件可用多少个bit去表示，可参考
的回答。
不要忘记，，信息熵和热力学熵的定义只是差一个常数而已。
热力学第二定律告訢我们，在一个封闭能量守恒的系统中，熵值不会减少。在热平衡系统中，熵值是达到最大化的。例如，在canonical ensemble中，在和的条件下，唯有系统的熵值才会达至最大化。（參：
）
在信息学中，各事件的概率也是在已知的条件下熵值达到最大化的结果。例如，如果已知、和，那对应最大熵值的概率分佈便为常态分佈。熵值最大的概率分佈，就是没有加上额外资讯量的概率分佈。
在Jaynes一篇名为Information Theory and Statistical Mechanics的文章中（
），提到如果我们把统计物理的架构想像为一个概率论问题而不理会传统统计力学的假设，那麽统计力学和概率论同为最大熵值问题。
这样看来，两种熵是相同的。
=======
补充参考资料：
