“概率分布空间”指的是所有可能的概率分布组成的集合。例如，假设我们有一个三类别分类问题，那么所有可能的类别分布就是满足
的一组三元组，每个元素是一个 tuple 。
而“欧氏空间”（Euclidean Space），比如我们熟悉的 $\mathbb{R}^n$，是一种直观的空间结构，它有全局的线性结构、可以自由地做向量加法、数乘，并且距离由标准的欧几里得度量（平方和开根号）定义：
核心区别
一个直观的例子是概率分布不能随便线性组合。取两个分布p和q，直接做 2p−q 之类的线性运算，往往不再是合法分布（总和不为1或者有负数概率）。
Wiki 将 Fisher Information 定义为观测 X 携带的关于参数 $\theta$ 的信息量
也可以理解为：在给定观测数据的情况下，Fisher Information 衡量一个模型参数可以被估计得多精确。
Fisher Information 的定义为： 其中， 是 score function 。因为 ，所以
比如著名的 Cramer-Rao Lower Bound 就基于 Fisher Information 给出了一个无偏估计的方差下界： 这意味着 Fisher Information 越大，估计的方差越小，估计的精度越高。
Fisher Information Matrix 是 Fisher Information 的矩阵形式，用于描述概率分布空间中的几何结构。
Fisher Information Matrix 的定义为： 是一个 的对称正定矩阵，其中 $n$ 是模型参数的个数。每个元素 是参数 和 的联合信息量。
更具体地，当参数只有单个时（比如简单的抛硬币问题），只需关心一个 的信息。当参数有多个时（比如高斯分布的均值和方差），需要用一个矩阵来描述 - 每个参数单独携带了多少信息 （对角线元素） - 参数之间携带信息的关联 （非对角线元素，协方差形式）
Fisher Information Matrix 与 （log likelihood 的）Hessian 的关系为： 这个结论非常有趣，它意味着 Fisher Information Matrix 其实是对 log likelihood 的曲率的度量。就优化问题而言，Fisher Information Matrix 是一阶的，而 Hessian 是二阶的, 因此 Fisher Information Matrix 的一个作用是在优化过程中替代 Hessian。
结论的推导过程如下：
观察 the first term 的期望，有
因此结论得证。
前文已经表明 Fisher Information Matrix 是对 log likelihood 的曲率的度量，这个性质使得 Fisher Information Matrix 可以用于描述概率分布空间中的几何结构。因此常被用于以概率分布的距离为优化目标的优化问题中。此时，Fisher Information Matrix 可以看作是概率分布空间的距离与参数对应的欧式空间距离的桥梁。
当我们的度量是KL-divergence (最常见的情况)，Fisher Information Matrix 还是KL-divergence的 Hessian。正式地， 在 时成立。
推导过程如下：
当 时，上式 ，证毕。
既然 Fisher Information Matrix 是KL-divergence的 Hessian，一种常见的使用方法是用于二阶泰勒展开。 这种近似非常有效，因为KL-divergence的零阶项 ，一阶项 。
另一种用法是对参数进行重加权，构造自然梯度。
其中 是标准梯度。 是 Fisher Information Matrix。注意，这里的 是 model distribution，不是 data distribution。在分类任务中， 是 softmax 后的概率，在生成任务中， 是生成模型定义的数据分布。
这里省略自然梯度的证明过程，但是强调一个事实：自然梯度是在二阶泰勒展开下，以最小化model distribution的改变 (通过 KL-divergence 衡量) 且最大化 loss 下降的幅度为目标，它是在二阶泰勒展开下求得的，并不是“最优”的梯度。
