Stanford概率图模型（Probabilistic Graphical Model）— 第二讲 Template Models and Structured CPDs

概率图模型（Probabilistic Graphical Model）系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解。（https://class.coursera.org/pgm-2012-002/class/index）

主要内容包括

1. 贝叶斯网络及马尔可夫网络的概率图模型表示及变形。

2. Reasoning 及 Inference 方法，包括exact inference(variable elimination, clique trees) 和 approximate inference (belief propagation message passing, Markov chain Monte Carlo methods)。

3. 概率图模型中参数及结构的学习方法。

4. 使用概率图模型进行统计决策建模。

第二讲. Template Models and Structured CPDs.

1 Template Models

模版图模型，是对图模型更加紧凑的描述方式。模版变量是图模型中多次重复出现的变量，例如多个学生的智商、多门课程的难度。而模版图模型描述了模版变量如何从模版中继承依赖关系，典型的TemplateModels有动态贝叶斯模型DBN、隐马尔科夫模型HMM及PlateModels。动态贝叶斯模型主要是在贝叶斯网络中引入了马尔科夫假设和时间不变性。这几个模型将在后面几讲中再深入介绍，下面看一个TemplateModels的习题

2 CPD

CPD即条件概率分布，表格方式不适合表示CPD。如果某个结点有K个parent，那么表格有O（2exp(k)）行。下面给出一般CPD的定义

主要包括以下几种模型

Deterministic CPD又称为Context Specific Independence,如下式所示

给定变量C的值后，随机变量X与随机变量Y条件独立,Given Z。

3 TreeStructured CPD

树形结构CPD，在树形结构中不同的路径选择会导致不同的条件独立性。如下例中，给定J和C1,即已知某人选择了推荐信1，那么能否取得工作只取决于推荐信L1的效力概率分布，则L2→J这条路径变得spurious，因此L1与L2之间不再有active trails，L1与L2条件独立。我们称L1与L2属于d-separated, Given J和context C=c1.这种条件独立关系也称为CSI-separation,即上下文相关的条件独立。

4 Noisy OR CPD

如下图所示，Y结点有父亲结点Z1到Zk，OR关系的意思即只有Z1到Zk全部不发生，那么才有Y=0，而Zi是否发生受到随机变量Xi的影响，如果把最后Y看成教授的推荐信，那么X1到Xk可以看做学生的某项表现，学生第i项表现优异的情况下被教授欣赏的概率为λi，这个图的意思就是如果教授至少欣赏了学生的某一项优异表现，则有推荐信。那么Z0是什么呢？这个概率称为leak probability， 可以认为是教授某天心情好，即使某个学生每项表现都一塌糊涂，他同样给推荐信，即这个变量不受学生表现Xi的影响，完全取决于教授本身。于是Y=0即没有推荐信的概率是学生每项都表现很差的概率乘以教授心情不好的概率，于是有图下面的条件概率公式。

5 Sigmoid CPD

搞清楚Sigmoid函数，这种条件概率很好理解，如下图：

练习题

6 线性高斯模型

Y服从高斯分布，其均值为父亲结点Xi的线性组合，方差与父亲结点无关。

在线性高斯模型中，如果均值中线性组合中的各个系数取决于随机变量A，方差与取决于随机变量A，称为条件线性高斯模型。

这样写进度太慢，后面打算只写每一讲的重点难点内容，进入无向图模型马尔科夫网络及Inference部分的讲解。