这是3月25日我在TM组机器学习讨论会上的分享。
Content
- 贝叶斯决策论
- 朴素贝叶斯分类器
- 半朴素贝叶斯分类器
- 贝叶斯网络
1. 贝叶斯决策论
贝叶斯决策论是一种基于概率的决策理论。当所有相关的概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
Example
哈工大与哈师大的同学举办大型联♂谊♀会，两个学校分别有500人参与。在联谊会上随机找到一个同学，请猜测他是那个学校的学生？
如果我们一点额外信息都不知道的话，只能随机猜测给出答案。如果我们能够提前知道一点点信息的话，就能够更大程度地猜中正确答案。比如，性别信息：
如此的话，假若这个同学是男生，我们肯定会猜测他是哈工大的学生。而从贝叶斯决策论的角度来看，我们需要比较以下两个概率大小：
- P(工大学生=是 | 性别 = X)
- P(师大学生=是 | 性别 = X)
上述两个概率被称作后验概率。后验概率往往难以直接获得，我们需要采用一定的手段进行计算。一些算法采用直接对后验概率进行建模的方法，例如SVM、决策树等，这些模型称为判别式模型。而先对联合概率进行建模、进而计算后验概率的模型，称为生成式模型：
\(P(c|\boldsymbol{x})=\frac{P(\boldsymbol{x}, c)}{P(\boldsymbol{x})}=\frac{P(c)P(\boldsymbol{x}|c)}{P(\boldsymbol{x})}\)
由此可以计算得到，P(工大学生=是 | 性别 = 男)为4/5，P(师大学生=是 | 性别 = 男)为1/5.
在上面的例子中，我们直接使用了后验概率对类别进行估计。实际问题中，如果将某一类估计错误的代价比较大的话，可以选择在后验概率前乘以一个系数，变为期望损失。分类也从最小化分类错误率变为最小化期望损失。
在上面的式子中，\(P(c)\)代表的是类先验概率。在样本足够大的情况下，直接使用频率即可作为这一概率；\(P(\boldsymbol{x}|c)\)叫做类条件概率，它跟属性x的联合概率有关。上面的例子中，x只有一维，而在实际问题中，往往会选择很多个Feature。此时他们的联合概率就变得难以计算，因此我们需要一些手段对它们进行估计。
