（以下高斯分布和正态分布混用，主打就是想写哪个写哪个...）
我第一次看到高斯分布（Gaussian Distribution）时，就被它的概率密度函数深深恶心到了：
坦白地说，接触这个公式十来年了，但我到现在还是背不下来。
不过背不背得下来倒是小事，最让我难受的是：高斯分布本身很难被定义（注意是这个分布“本身”的定义，不是一个“随机变量满足高斯分布”的定义）。目前比较合理的方法是绕过“定义”而说明它的特征（均值、方差、PDF、moment等）。这对于mathematics来说几乎是unacceptable的。
直到学了信息论，我惊喜地发现其实高斯分布还可以一个非常优美、非常符合直觉的定义。
本文将会从信息论的角度，说说最大熵原理和正态分布以及中心极限定理的关系。篇幅关系，本文分为两篇，这是第一篇，关于最大熵原理和正态分布。后面还会写一篇关于最大熵原理和中心极限定理的关系。
具体来说，本篇主要内容为：
一般来说，我们会用中心极限定理来理解正态分布。
中心极限定理表明，给定一组独立同分布的随机变量，无论这些随机变量本身的分布是什么，只要它们的期望值和方差是有限的，当样本量数量足够大时，这些随机变量的标准化和平均值的分布将趋向于正态分布。因此，这个定理也解释了正态分布为什么这么普遍。
熵的理论是信息论祖师爷香农（C.E.Shannon）提出来的，他借鉴了热力学的概念，用它来描述一个（离散型）随机变量的不确定性。
熵有以下基本特征：
【注】：严格来说，微分熵已经不能算作“熵”，我们可以很容易发现它可以是负数。具体的内容超过了本文想讨论的内容。
KL散度是对概率函数“距离”的衡量：
以及连续型情况下：
【注】：严格来说KL散度不是距离度量（所以没叫"KL距离"......），因为它不满足对称性。
不过两种情况下KL散度都是大于等于0的，比如第二种情况：
这个原理理解起来其实非常简单，如前所述，熵是一个系统不确定性的度量。所以当我们没有掌握额外的信息时，选择最大熵分布等于选择在所有符合已知约束的分布中不确定性最大，偏差（bias）最小的那个，意味着我们没有引入额外的偏见或信息。
与其说是定理，MEP更像是一种理解世界的视角。正如奥卡姆剃刀原理所述，“如无必要，勿增实体”，当没有其他信息的时候，就不要引入信息，否则便是一种自负。
另外，我始终认为，对于一个随机变量而言，其概率分布并不是一个客观存在的东西，而是人类认识这个随机变量后做的主观假设（坚定的贝叶斯学派支持者）。譬如，所谓先验概率（prior），就是一种主观假设，基于以往的经验或是分析。很多人以这种唯心的假设来论证贝叶斯学派的局限性，但是恰恰相反，这种局限性不是来自贝叶斯学派理论本身，而是来自人类对世事的有限认知。理论上，所有满足约束的概率分布都可以来刻画这个随机变量，只不过是好坏的问题，比如，假设你用Laplace分布来刻画人类的身高分布，这并没有什么essential的缺陷，只不过是不如用高斯分布来的好而已。我们做的只不过是找到那个最好的分布。
而最大熵原理，它告诉我们什么叫“最好”。
作为引入，我们先来看看离散型随机变量的情况：
这是一个比较清晰的优化问题，我们需要最大化这个系统的熵，并且满足概率分布本身的限制条件（非负，和为1）。按照前面所说，我们可以给这个系统加上额外的约束，一般来说，对于未知的 's有一些已知的约束信息 ，可以用期望来表示这个约束： 。所以我们有：
显而易见我们可以用拉格朗日乘数法（Lagrangian multiplier method）来得到这个问题的解，定义：
对 求导并使之等于0：
所以我们得到了离散型情况下的解：
这种情况与前一种类似，只不过这里我们使用differential entropy，这时优化问题变成了：
类似的，我们使用拉格朗日乘数法，不过这里我们把 对 求导，可以得到：
【注：正态分布也是给定均值和方差条件下的最大熵分布，但是由于微分熵有平移不变性（translation invariant），这里对均值的假设不是必须的。对于相同的结论，我们倾向于使用更弱的条件。】
Proof: 假设 是一个定义在 上的，均值为 ，方差为 的正态分布的概率密度函数；假设 是一个相同定义域的任意的方差为 的概率密度函数（由于平移不变性，不妨假设均值也为 ）。
考虑 和 的KL散度：
由于KL散度恒大于等于0，我们有：
把 的正态分布的公式代入 ，我们有：
注意到，这个就是正态分布的微分熵的相反数，即 。结合以上散度恒大于零的公式，我们有：
当且仅当 为正态分布的概率密度函数时（ ），上次取等。
故我们证明了这个定理。
这个部分回到了本文最关系的问题：正态分布能不能有一个优美的定义。
现在最重要的事情是，麻烦诸君忘记正态分布的概率密度函数的公式：
好了，下面我们给出以下“优美的定义”：
（注：这个定义优美在，它不依赖于统计学视角的多次采样极限，并且除了notation之外没有其他公式。）
下面我们来利用这个定义来获得我们熟知的正态分布概率密度函数公式。
在限制了均值和方差的情况下，3.b.部分的优化问题变成了：
根据3.b.部分的分析，我们知道它的概率密度函数应为
所以我们只需要利用约束条件求出 即可，也就是说，我们只要想办法把这个 搞掉就行。
我们先来看条件 。
注意到 ，右式非常像高斯积分（ ）。
【注】：高斯积分的求解是多元积分的经典应用，也是旋转对称性的绝妙阐释。我们把它转化为二元的极坐标系的积分进行求解，具体过程如下：
所以我们的想法非常简单：尝试将 指数的二次公式从标准形式改写为正则表达式，并把常数提到积分外面。我们有：
为了表示方便，我们进行换元，令 ，我们有：
结论：
类似的，对于 ，我们有：
同样进行换元 ：
结论：
类似的，对于 ，并且利用相同的换元 ，我们有：
结论：
根据以上分析我们有：
我们可以很轻易得到结果：
然后把它们代回 ，我们得到
Q.E.D.
这篇文章从信息论的角度，表明了什么叫"最好"的概率分布，解释了最大熵和正态分布的关系，给出了一个比较优美的正态分布的定义，并说明了正态分布为什么那么普遍（给定方差限制的情况下的"最好"的分布）。这些似乎有助于对正态分布的理解。
累了，下一章再思考其他的……
Cover, T. M., and Thomas, J. A. (2006). Elements of information theory (2nd ed.). Wiley-Interscience.
由于写得比较仓促，许多式子里确实有一些typo，我现在已经改回来了一些。非常感谢知友 @Zichong Wang @Africar 在评论区的纠错，也欢迎朋友们任何相关话题的讨论！
