后验概率 :信息理论的基本概念之一

更新时间:2023-10-26 14:54

后验概率是信息理论的基本概念之一,指在一个通信系统中,在收到某个消息之后,接收端所了解到的该消息发送的概率称为后验概率。

后验概率的计算要以先验概率为基础。后验概率可以根据通过贝叶斯定理,用先验概率和似然函数计算出来。

简介

后验概率是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的"果"。先验概率与后验概率有不可分割的联系,后验概率的计算要以先验概率为基础。

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。

先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;

先验概率的计算比较简单,没有使用贝叶斯定理;而后验概率的计算,要使用贝叶斯公式,而且在利用样本资料计算逻辑概率时,还要使用理论概率分布,需要更多的数理统计学知识。

实例

假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等,所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少?

使用贝叶斯定理,事件A是看到女生,事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)。

P(A)是忽略其它因素,看到女生的概率,在这里是40%

P(A')是忽略其它因素,看到不是女生(即看到男生)的概率,在这里是60%

P(B|A)是女生穿裤子的概率,在这里是50%

P(B|A')是男生穿裤子的概率,在这里是100%

P(B)是忽略其它因素,学生穿裤子的概率,P(B)=P(B|A)P(A)+P(B|A')P(A'),在这里是0.5×0.4+1×0.6=0.8。

根据贝叶斯定理,我们计算出后验概率P(A|B)

P(A|B)=P(B|A)*P(A)/P(B)=0.25

可见,后验概率实际上就是条件概率

抽样方法

统计学金融经济学中,随机变量X的概率分布为f(x|θ),先验概率分布为f(θ),根据贝叶斯定理,后验概率分布为f(θ|x):

式中,归一化常数c的积分是高维积分,是很难进行数值计算的,因此归一化常数c可以认为是未知的,所以后验概率分布是不完全已知概率分布。对于不完全已知概率分布,直接抽样方法不适用,应采用间接抽样方法,如马尔科夫链蒙特卡洛方法。

解释

1、当根据经验及有关材料推测出主观概率后,对其是否准确没有充分把握时,可采用概率论中的贝叶斯定理进行修正,修正前的概率称为先验概率,修正后的概率称为后验概率,利用后验概率再进行风险分析。

2、信息技术革命加快了人类迈向信息社会实际情况的进程,世界信息服务业正在成为最强劲的实质上,它是以新的信息做为条件的条件概经济增长点。

3、P{H0|x}是给定观测值x条件下H0出现的概率,统称为后验概率。根据贝叶斯公式,后验概率可表示为P{H0|x}=P(H0)P{x|H0}/P(x),P{H1|x}=P(H1)P{x|H1}/P(x)(2)式中,P(x)为x的概率密度。

4、也就是获得条件概率P(ωωt-k),这个概率常常称为后验概率。利用后验概率进行系统的状态决策无疑是更加合理的方法,因为它充分利用了先验知识和观测到历史时间变量的信息。

5、这个概率称为后验概率。根据贝叶斯规则计算如下:P[^ωΦ(t)]=maxωP[Φ(t)ω]P(ω)P[Φ(t)](5)这里的条件概率P[Φ(t)ω]是比较故障模型和输入模式之间符合程度的结果。

例子

举一个简单的例子:一口袋里有3只红球、2只白球,采用不放回方式摸取,求:

(1)第一次摸到红球(记作A)的概率;

(2)第二次摸到红球(记作B)的概率;

(3)已知第二次摸到了红球,求第一次摸到的是红球的概率。

解:

(1)P(A)=3/5,这就是验前概率;

(2)P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5

(3)P(A|B)=P(A)P(B|A)/P(B)=1/2,这就是验后概率。

免责声明
隐私政策
用户协议
目录 22
0{{catalogNumber[index]}}. {{item.title}}
{{item.title}}
友情链接: