本文正在参加 人工智能创作者扶持方案
上一篇的综述论文读的比较懵。为此,从这一篇开始记载Judea Pearl的Causal Inference in Statistics: A Primer的阅览笔记,将经典的因果推断理论基础打好后再考虑机器学习领域的因果推断。
结构因果模型
- 结构因果模型(Structural Causal Model, SCM)
结构因果模型运用有向图(一般为有向无环图,Directed Acyclic Graph, DAG)来建模变量间的因果关系。
基本概念
- 外源变量(exogenous variables)UU:处在模型之外(指模型中没有指向它的原因变量)的变量,无需建模其他变量指向它的因果。在因果有向图中,外源变量悉数为根节点。外源变量一般充当内源变量的差错项(在模型建模的因果关系外影响内源变量取值的要素)。
- 内源变量(endogenous variables)VV:模型内(建模)的变量。每个内源变量被至少一个外源变量指向(存在有向边)。
- 映射函数 ff:从原因变量到成果变量的映射函数,解说因果关系怎么发生作用。
乘积分解规矩
- 乘积分解规矩(rule of product decomposition)
运用因果变量间的条件概率的乘积分解一切变量的联合概率:
其间paipa_i表明变量XiX_i的父节点变量的取值。例如,已知链状有向因果图X→Y→ZX\to Y\to Z,则它们的取值的联合概率为:
有向图模型
- 结构因果模型中的有向图模型及其使用
依据图的构型,将有向图模型分为三类: - Chains:X→Y→ZX\to Y\to Z,链状衔接
- Forks:X→Y,X→ZX\to Y, X\to Z,一个原因变量决议一切成果变量。其间那仅有的原因变量被称作common cause
- Colliders:X→Z,Y→ZX\to Z, Y\to Z,一切原因变量决议一个成果变量(磕碰节点,collision node)
graph TB
Ux1((Ux1))
X1((X1))
Uy1((Uy1))
Y1((Y1))
Uz1((Uz1))
Z1((Z1))
Ux2((Ux2))
Uy2((Uy2))
X2((X2))
Y2((Y2))
Uz2((Uz2))
Z2((Z2))
Ux3((Ux3))
X3((X3))
Uy3((Uy3))
Y3((Y3))
Uz3((Uz3))
Z3((Z3))
X1-->Y1
Y1-->Z1
X2-->Y2
X2-->Z2
X3-->Z3
Y3-->Z3
Ux1-->X1
Uy1-->Y1
Uz1-->Z1
Ux2-->X2
Uy2-->Y2
Uz2-->Z2
Ux3-->X3
Uy3-->Y3
Uz3-->Z3
上图从左到右每个连通图依次为Chains, Forks, Colliders。其间U*表明外源变量。
Chains & Forks & Colliders 中的三条独立性规矩
R1. Chains中的条件独立性:给定两个变量XX和YY,称它们在给定变量ZZ时是独立的,假如XX和YY之间只要一条单向途径,并且该途径被ZZ切断。
解说:假如X→…→Z→…→YX\to…\to Z\to…\to Y且XX到YY的途径只要这一条,那么他俩便是关于ZZ条件独立的。
R2. Forks中的条件独立性:假如变量XX是变量YY和变量ZZ的仅有原因变量,那么变量YY和ZZ是关于XX条件独立的。
了解:当XX固守时,仅有影响YY和ZZ的取值的只要它们各自的外源变量UyU_y和UzU_z。因为UyU_y和UzU_z是独立的(外源变量不依靠于任何其他变量),因而YY和ZZ是条件独立的。
R3. Colliders中的条件独立性:假如变量ZZ是XX和YY的磕碰节点,并且XX和YY之间只要这一条途径(留意,不仅是有向途径),那么XX和YY在无条件时是独立的,但在给定ZZ或ZZ的恣意后继节点时是条件不独立的。
了解:R3是对因果关系的研讨中极其重要的一条规矩!它可以了解为,假如成果变量ZZ是固定的,那么当XX的值改动时,需求改动YY的值,从而补偿XX对ZZ造成的影响。例如一次考试包括理论、试验两部分。那么“总分”便是“理论分”和“试验分”的磕碰节点。假如总分固定,且某人的理论分较高,那么它的试验分有必要较低从而使总分固定,反之亦然。那么理论分和试验分便是关于总分条件不独立的。
有向别离&有向衔接(d-*)
- 有向别离:d-seperation(‘d’的意思是directional)用于识别节点对处于的状态(有向别离态或有向衔接态)的过程。
- 有向衔接态:d-connected,表明存在衔接两个节点的途径。有向衔接态的节点对是不独立(一个依靠另一个)的。
- 有向别离态:d-seperated,表明不存在衔接两个节点的途径。有向别离态的节点对一定是独立的。
判别一对节点是否是有向别离态的,其方法在于判别衔接它们的一切途径(留意,不是有向途径)是否都是阻断的(blocked)。假如一切途径都是阻断的,那么此二者便是有向别离态的,不然它们是有向衔接态的。
- 假如“依靠性”不能从某个节点沿着经过节点ZZ(对ZZ不取条件)的途径传递到另一个节点,那么称ZZ阻断这条途径。
- 被阻断的对象是衔接两个节点的一条途径,而不是两个节点。
- 假如节点ZZ是节点XX和YY的一条途径上的磕碰节点(collider),那么ZZ必定是可以阻断这条途径的。
除了磕碰节点,还有满意以下条件的节点可以阻断一条途径:
- 假如咱们对一个节点集KK取条件(即固定节点集中的变量的值),且节点ZZ满意:
- ZZ是磕碰节点且Z∉KZ\notin K,且ZZ的恣意后继节点都不归于KK
- Z∈KZ\in K且ZZ是一个chain或fork的中间节点
满意上述恣意一种条件的节点ZZ都能阻断条件中提及的途径。
根据“阻断”的界说,咱们可以给出有向别离的界说:
界说(有向别离,d-separation):一条途径pp可以被一个节点集ZZ阻断,当且仅当:
- pp包括chain A→B→CA\to B\to C或fork A←B→CA\leftarrow B\to C使得中间节点B∈ZB\in Z(即BB取条件),或
- pp包括collider A→B←CA\to B\leftarrow C使得磕碰节点B∉ZB\notin Z,且BB的恣意后继节点都不归于ZZ。
若上述节点集ZZ阻断节点XX和YY之间的一切途径,那么称XX和YY是关于ZZ有向别离的(d-separated, conditional on ZZ),因而是关于ZZ条件独立的。
参考文献
- Judea Pearl, Madlyn Glymour, Nicholas P.Jewell.Causal Inference in Statistics: A Primer.2016.WILEY
本文正在参加 人工智能创作者扶持方案