
这篇回答节选自我在专栏《机器学习中的数学:概率统计》中的一篇文章,我们来谈一下贝叶斯定理。
欢迎关注我的知乎账号 @石溪 ,将持续发布机器学习数学基础及python数据分析编程应用等方面的精彩内容。
首先,我们先来复习一下贝叶斯定理:
在这个简简单单的式子当中,蕴含了我们要掌握的很多重要内容:
贝叶斯定理当中的四个概率表达式,他们都非常重要,在这一节的内容中将反复出现,我们来一一解析一下:
:先验分布。 反映的是在观测到数据之前我们对待估计的参数 的了解和认识。
: 在确定了参数的情况下,试验数据的概率分布。实际上这就是对实际观测数据的一种描述。
:后验分布。 后验分布就是我们通过贝叶斯定理得到的最终的分析结果,反映的是在给定观测数据的基础上,我们对于参数的新的认知。说的更直白一点,就是最开始没有观测数据的时候,我们依据以往的经验赋予了参数一个先验分布,然后来了实际的观测数据之后,我们就对先验进行了更新,得到了这次分析过程的后验分布。
:边缘概率。 这是一个与我们待估计的参数 无关的一个边缘概率值: ,因此我们并不用太关心这个值,仅仅把他当做是后验概率 计算过程中的归一化系数即可。
因此我们更需要聚焦的就是如下的这个正比关系:
实际上,有一个概念需要大家树立,那就是后验分布也是不断的处在动态更新过程当中的。一次试验得到的后验分布,对于后续进一步收集到的新的观测数据,他又可以看作是后续分析的一个先验。
在贝叶斯推断中,我们将待估计的量记为 ,视其为一个随机变量,我们的目标就是基于观测到的样本数据值 来提取 的信息,我们称 为观测值,那么我们需要首先知道或者明确以下两方面内容:
第一个是视作随机变量 的待估计未知参数的先验分布 ,如果 是连续的则相应的记作是 。
第二个是基于参数 的观测数据的分布模型,也就是条件分布 或者说是 ,当然这取决于 是连续型还是离散型随机变量。
一旦确立了 的观测值 ,贝叶斯推断的完整答案就由随机变量 的后验分布 或者 来描述和决定,这个后验分布的计算就是依赖贝叶斯定理来进行的。后验分布的精髓就在于他利用已经得知的观测数据,抓住了关于 的一切信息。
这里我们总结一下上述的整个过程:
首先,贝叶斯推断的起点是未知随机变量 的先验分布 或者 。
然后,我们需要确定观测数据 的分布模型,他是一个基于随机变量 的条件概率: 或者 。
一旦我们观察到了 的一个特定值 之后,我们就可以开始运用贝叶斯法则去计算 的后验分布:
如果是连续型的随机变量,就把上面的概率质量函数替换成概率密度函数就可以了。
感觉说来说去,还是比较理论,很多量该怎么确定可能还是不知道如何下手。那么我们通过一个抛掷硬币的例子来把贝叶斯推断的过程演练一遍:
假设我们有一个并不均匀的硬币,投掷出正面和反面的概率并不是相等的0.5,因此我们通过不断的进行硬币抛掷试验来估计正面的概率 。
那么我们首先为 选择一个先验分布,实际上,我们对他一无所知,只知道这个 应该介于 之间,这个范围很粗犷,因此我们选择 分布作为参数 的先验分布。
4.1. 先验分布
分布是一个连续型随机变量的分布,他的概率密度函数为:
这个先验分布我们之前很少接触,除了未知参数 以外,他还有两个参数 和 ,用来控制整个 分布的图像,并且分式 中间含有复杂的伽马函数。
其实这个分式大家不用特别关心,他可以被理解为一个正则项,保证整个概率密度函数的积分为1即可。
那么我们为什么要选择 分布作为未知参数 的先验分布呢?相信大家都有疑问,那么我们通过下面的内容讲解来慢慢揭示,首先我们来看一下 分布的具体形态。
我们刚刚说过, 分布概率密度函数中,参数 和参数 是用来控制分布的形状的,具体指的什么,我们让参数 和参数 分别依次从 中取值作为参数,这样就构成了9组参数对,我们来依次画出他们的分布形态。
代码片段:
运行结果:
参数 和 的不同取值组合,我们能够得到类似于 型分布,正态分布,均匀分布,指数分布等等许多不同分布的形状,具有很强的通用性和适应性。
其次一点是共轭性,他能够极大的简化后验分布的计算,这一点我们接下来继续展开。
4.2.关于观测数据的分布
接下来,我们选择观测数据的分布,在抛掷硬币的过程中,确定了某一次抛掷硬币正面向上的概率 之后,抛掷 次硬币,其中 次向上的概率是满足二项分布的,这个我们之前也反复讲过:
这里我们就抛掷10次硬币,其中令正面向上的概率分别是0.35,0.5,0.8,来看看观测数据所服从的分布:
代码片段:
运行结果:
4.3.后验的计算
我们接下来就来计算后验:
因此:
而针对选定的先验,参数 和 是已知的,针对一组已知的观测数据,抛掷的次数 和正面向上的次数 也是已知的,因此 和 都是与未知参数 无关的项,他们可以被合并到归一化项当中去,因此我们可以进一步化简:
最终实际的后验 就是在 的基础上加上一个归一化的项,使之在整个 的取值域上积分为1。
此时你可能会问,后面我们再该怎么处理?我们从后验分布的概率密度函数的正比表达式: 中惊奇的发现,后验分布同样也是一个 分布,只不过这个 分布的参数变了:
那么我们很容易就能根据先验分布和观测数据得到后验分布了。
首先我们写一段模拟抛硬币的程序,我们手上的这枚硬币,正面向上的实际概率为0.62,我们模拟随机抛掷1000次硬币的试验,并且记录抛掷过程中,抛掷次数为 时,正面出现的次数。这个0.62就是我们需要根据观测数据来估计的未知参数,并且我们可以用它来和估计值进行对比。
代码片段:
运行结果:
这个结果中,每一个元组表示的含义为(正面的次数,试验的次数),记录了完成1000次试验的过程中,抛掷到5次,10次,20次,100次,500次和1000次的时候,相应的正面向上的次数。
例如 表示当试验进行了500次时,正面出现的次数为311次。
请大家放心的是,这个试验生成的结果完全是按照伯努利试验随机生成的,你可以再重复运行5次该实验,一定会得到完全不同的5组试验结果:
代码片段:
运行结果:
最后,我们利用三组 分别为 的 分布作为先验分布:
代码片段:
运行结果:
我们选择:
作为观测数据,利用贝叶斯推断的方法,来得到后验分布
代码片段:
运行结果:
我们来分析一下试验结果,首先我们设置了三种典型的先验分布,均匀分布、 型分布和类似正态分布,分别代表了我们对于未知参数 不同的认识,比如如果我们选择均匀分布,意味着我们认为, 在 范围内的取值是等概率的; 型分布代表了在靠近0和1的两头, 的取值概率越高,类正态分布表示我们认为越靠近中心0.5的位置,取值概率越高。这三者的认识是截然不同的。
在整个实验的每一个阶段,通过先验分布与观测数据的综合,我们得到了每个阶段的后验结果,我们从图中可以看出,贝叶斯推断得到的是一个后验分布,而不像极大似然估计中得到的是一个具体值。他表示了在给定观测数据的情况下,推断得到的未知参数 的分布情况。
一般而言我们都会选择后验分布概率密度函数曲线的峰值作为我们最终对于未知参数的估计值。这就是贝叶斯推断中的最大后验概率( )准则,即选择在一个给定数据下,具有最大后验概率的值。
从这个结果图中,我们可以看出很多的结论:
首先,随着观测数据的不断增多,后验分布会越来越集中,分布越集中表示对于参数的确定性越高,这很显然,观测数据的增多意味着有更多的数据、更多的信息来更新和支撑我们对于参数的认识。
其次,当观测数据的量足够多的时候,不同的先验分布对应的后验分布都会收敛到一个相同的结果,数据越多,通过最大后验概率准则得到的估计值就会与参数的实际值(黑色竖线)越接近。
那么这里有一个重要的点要强调,当然也是我们当初没有谈到的,先验选择 分布的第三个好处,那就是:
先验分布是 分布,观测数据服从二项分布,得到的后验仍然是 分布,也就是说 分布是二项分布的共轭先验:即将先验 分布与二项分布组合在一起之后,得到的后验分布与先验分布的表达式形式仍然是一样的。除此之外,正态分布也是自身的共轭先验。
这种分布的共轭特性,极大的简化了我们求解后验分布的计算复杂性。但是,共轭分布的情形并不普遍,因此如果不是在共轭先验的条件下去解决贝叶斯推断问题,那么在计算后验分布的过程中将会遇到非常大的困难,后验分布绝大多数情况下就不再是一个标准分布,甚至没有解析解,在这种情况下想了解后验分布的形态将遇到巨大的挑战,基于他去做后续的统计分析将难上加难。
那么怎么办?别急,因此这就得留给我们后面的MCMC近似采样方法来彻底解决吧!
当然还有《机器学习中的数学(全集)》系列专栏,欢迎大家阅读,配合食用,效果更佳~
有订阅的问题可咨询微信:zhangyumeng0422
