贝叶斯定理是18世纪英国数学家托马斯·贝叶斯(Thomas Bayes)提出得重要概率论理论。以下摘一段 wikipedia 上的简介:

所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有 N 个白球,M 个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题,就是所谓的逆向概率问题。

贝叶斯定理的思想出现在18世纪,但真正大规模派上用途还得等到计算机的出现。因为这个定理需要大规模的数据计算推理才能凸显效果,它在很多计算机应用领域中都大有作为,如自然语言处理,机器学习,推荐系统,图像识别,博弈论等等。


1、贝叶斯公式

如上图公式所示,其中,各个概率P所对应的事件:

  • P(A) 是事件 A 发生的概率;
  • P(B) 是事件 B 发生的概率;
  • P(A|B) 是在事件 B 发生的情况下事件 A 发生的概率;
  • P(B|A) 是在事件 A 发生的情况下事件 B 发生的概率。
贝叶斯公式就是用来描述两个条件概率之间的关系:P(A|B) 和 P(B|A)。
贝叶斯公式的推导在于理解事件 A 发生且事件 B 发生的概率。P(A∩B) 其可以描述为:

  • P(A∩B) = P(A)*P(B|A)
  • P(A∩B) = P(B)*P(A|B)
通常贝叶斯公式可以用来求在已知其他事件概率P(B|A) 的情况下求目标事件概率(P(A|B) 。

2、贝叶斯公式的应用比如一间房屋在过去1年共发生过3次被盗事件;房屋有一条狗,狗平均每天晚上叫1次;若假设在盗贼入侵时狗叫的概率为0.9,则狗叫时发生盗贼入侵的概率是多少?
按照事件概率的形式描述如下:

  • P(A):狗每天叫的事件概率为 1;
  • P(B):盗贼入侵事件的概率为 3/365 ≈ 0.008;
  • P(A|B):盗贼入侵时狗叫的概率为 0.9。
  • P(B|A):狗叫时盗贼入侵的概率?

根据贝叶斯公式,即可求得:
P(B|A) = 0.9 * 0.008 / 1 = 0.0072


来源:baidu ,算法集市