forked from shunliz/Machine-Learning
-
Notifications
You must be signed in to change notification settings - Fork 0
/
bayes.md
46 lines (22 loc) · 8.55 KB
/
bayes.md
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
## 简介
贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图\(Directed Acyclic Graph,DAG\),由代表变量节点及连接这些节点有向边构成。节点代表[随机变量](http://baike.baidu.com/item/%E9%9A%8F%E6%9C%BA%E5%8F%98%E9%87%8F)，节点间的有向边代表了节点间的互相关系\(由父节点指向其子节点\)，用[条件概率](http://baike.baidu.com/item/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87)进行表达关系强度，没有父节点的用[先验概率](http://baike.baidu.com/item/%E5%85%88%E9%AA%8C%E6%A6%82%E7%8E%87)进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。
## 建造
贝叶斯网络的建造是一个复杂的任务，需要[知识工程师](http://baike.baidu.com/item/%E7%9F%A5%E8%AF%86%E5%B7%A5%E7%A8%8B%E5%B8%88)和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原因出现的情况下，估计该故障原因的各个节点的[条件概率](http://baike.baidu.com/item/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87)，这种局部化概率估计的方法可以大大提高效率。
## 训练
使用贝叶斯网络必须知道各个状态之间相关的[概率](http://baike.baidu.com/item/%E6%A6%82%E7%8E%87)。得到这些参数的过程叫做训练。和训练[马尔可夫模型](http://baike.baidu.com/item/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E6%A8%A1%E5%9E%8B)一样，训练贝叶斯网络要用一些已知的数据。比如在训练上面的网络，需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比[马尔可夫链](http://baike.baidu.com/item/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE)，贝叶斯网络的训练比较复杂，从理论上讲，它是一个[NP-complete](http://baike.baidu.com/item/NP-complete)问题，也就是说，现阶段没有可以在多项式时间内完成的算法。但是，对于某些应用，这个训练过程可以简化，并在计算上高效实现。
## 特性
1、贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他[决策模型](http://baike.baidu.com/item/%E5%86%B3%E7%AD%96%E6%A8%A1%E5%9E%8B)不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了[网络节点](http://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E8%8A%82%E7%82%B9)变量之间的因果关系及条件相关关系。
2、贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用[条件概率](http://baike.baidu.com/item/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87)表达各个信息要素之间的相关关系，能在有限的、不完整的、不确定的信息条件下进行学习和推理。
3、贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将[故障诊断](http://baike.baidu.com/item/%E6%95%85%E9%9A%9C%E8%AF%8A%E6%96%AD)与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。
对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于[仿真](http://baike.baidu.com/item/%E4%BB%BF%E7%9C%9F)方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用哪种算法模型：
a.\)如果该实例节点信度网络是简单的[有向图](http://baike.baidu.com/item/%E6%9C%89%E5%90%91%E5%9B%BE)结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法；
b.\)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行[化简](http://baike.baidu.com/item/%E5%8C%96%E7%AE%80)，然后在与精确推理相结合来考虑。
在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络\(Bayesian Network\)实质上就是一种基于[概率](http://baike.baidu.com/item/%E6%A6%82%E7%8E%87)的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。
贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、[专家系统](http://baike.baidu.com/item/%E4%B8%93%E5%AE%B6%E7%B3%BB%E7%BB%9F)、学习预测等领域。这些成功的应用，充分体现了贝叶斯网络技术是一种强有力的不确定性推理方法。
### 贝叶斯理论及应用
| 数学领域 | ▪[贝叶斯分类算法](http://baike.baidu.com/view/2579342.htm)\(应用:统计分析、测绘学\)▪[贝叶斯风险](http://baike.baidu.com/view/6953343.htm)\(应用:统计决策论\)▪[贝叶斯公式](http://baike.baidu.com/view/541856.htm)\(应用:概率空间\)▪[贝叶斯估计](http://baike.baidu.com/view/6960491.htm)\(应用:参数估计\)▪[贝叶斯区间估计](http://baike.baidu.com/view/6962283.htm)\(应用:数学中的区间估计\)▪[贝叶斯统计](http://baike.baidu.com/view/189707.htm)\(应用:统计决策论\)▪[贝叶斯序贯决策函数](http://baike.baidu.com/view/6962978.htm)\(应用:统计决策论\)▪[经验贝叶斯方法](http://baike.baidu.com/view/6957515.htm)\(应用:统计决策论\) |
| :--- | :--- |
| 工程领域 | ▪[贝叶斯定理](http://baike.baidu.com/view/1488573.htm)\(应用:人工智能、心理学、遗传学\)▪[贝叶斯分类器](http://baike.baidu.com/view/1531860.htm)\(应用:模式识别、人工智能\)▪[贝叶斯分析](http://baike.baidu.com/view/6953721.htm)\(应用:计算机科学\)▪[贝叶斯决策](http://baike.baidu.com/view/113154.htm)\(应用:人工智能\)▪[贝叶斯逻辑](http://baike.baidu.com/view/6954683.htm)\(应用:人工智能\)▪[贝叶斯推理](http://baike.baidu.com/view/1797692.htm)\(应用:数量地理学、人工智能\)▪**贝叶斯网络**\(应用:人工智能\)▪[贝叶斯学习](http://baike.baidu.com/view/3307675.htm)\(应用:模式识别\) |
| :--- | :--- |
| 其他领域 | ▪[贝叶斯主义](http://baike.baidu.com/view/2897442.htm)\(应用:自然辩证法\)▪[有信息的贝叶斯决策方法](http://baike.baidu.com/view/3849620.htm)\(应用:生态系统生态学\) |
| :--- | :--- |