高斯散布

数学希望：

方差：^2

标准差：

随机变量：x

exp：e为底（后续括号内的为幂次）

一、一维状况 MLE

高斯散布在机器学习中占有举足轻重的作用。在 MLE 办法中：

=(,)=(,2),MLE=argmaxlog⁡p(X∣)=iidargmax∑i=1Nlog⁡p(xi∣)\theta=(\mu,\Sigma)=(\mu,\sigma^{2}),\theta_{MLE}=\mathop{argmax}\limits _{\theta}\log p(X|\theta)\mathop{=}\limits _{iid}\mathop{argmax}\limits _{\theta}\sum\limits _{i=1}^{N}\log p(x_{i}|\theta)

MLE的连等号是由于： $log⁡P(X∣)=log⁡∏i=1Np(xi∣)=∑i=1Nlog⁡p(xi∣)\log P(X \mid \theta)=\log \prod_{i=1}^{N} p\left(x_{i} \mid \theta\right)=\sum_{i=1}^{N} \log p\left(x_{i} \mid \theta\right)$

argmax : 比方f(x)中，x便是变量(arg), arg是argument，即自变量, arg max 意思是使后面式子取到 max值时的变量取值

一般地，高斯散布的概率密度函数PDF（probability density function）写为：

p(x∣,)=1(2)p/2∣∣1/2e−12(x−)T−1(x−)p(x|\mu,\Sigma)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)}

带入 MLE 中咱们考虑一维的状况

log⁡p(X∣)=∑i=1Nlog⁡p(xi∣)=∑i=1Nlog⁡12exp⁡(−(xi−)2/22)\log p(X|\theta)=\sum\limits _{i=1}^{N}\log p(x_{i}|\theta)=\sum\limits _{i=1}^{N}\log\frac{1}{\sqrt{2\pi}\sigma}\exp(-(x_{i}-\mu)^{2}/2\sigma^{2})

=∑i=1N[log⁡12x+log⁡1−(xi−)222]=\sum_{i=1}^{N}\left[\log \frac{1}{\sqrt{2 x}}+\log \frac{1}{\sigma}-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma^{2}}\right]

首要对 $\mu$ 的极值能够得到：（ $\mu$ 相对简单）

MLE=argmaxlog⁡p(X∣)=argmax∑i=1N(xi−)2\mu_{MLE}=\mathop{argmax}\limits _{\mu}\log p(X|\theta)=\mathop{argmax}\limits _{\mu}\sum\limits _{i=1}^{N}(x_{i}-\mu)^{2}

于是：（其实便是均值，且 $_{MLE} = \mu$ )

∂∂∑i=1N(xi−)2=0⟶MLE=1N∑i=1Nxi\frac{\partial}{\partial\mu}\sum\limits _{i=1}^{N}(x_{i}-\mu)^{2}=0\longrightarrow\mu_{MLE}=\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}

其次对 $\theta$ 中的另一个参数 $\sigma$ ，有：

MLE=argmaxlog⁡p(X∣)=argmax∑i=1N[−log⁡−122(xi−)2]=argmin∑i=1N[log⁡+122(xi−)2]\begin{aligned} \sigma_{MLE}=\mathop{argmax}\limits _{\sigma}\log p(X|\theta)&=\mathop{argmax}\limits _{\sigma}\sum\limits _{i=1}^{N}[-\log\sigma-\frac{1}{2\sigma^{2}}(x_{i}-\mu)^{2}]\\ &=\mathop{argmin}\limits _{\sigma}\sum\limits _{i=1}^{N}[\log\sigma+\frac{1}{2\sigma^{2}}(x_{i}-\mu)^{2}] \end{aligned}

于是：

∂∂∑i=1N[log⁡+122(xi−)2]=0⟶MLE2=1N∑i=1N(xi−)2\frac{\partial}{\partial\sigma}\sum\limits _{i=1}^{N}[\log\sigma+\frac{1}{2\sigma^{2}}(x_{i}-\mu)^{2}]=0\longrightarrow\sigma_{MLE}^{2}=\frac{1}{N}\sum\limits _{i=1}^{N}(x_{i}-\mu)^{2}

值得注意的是，上面的推导中，首要对 $\mu$ 求 MLE，然后运用这个结果求 $MLE\sigma_{MLE}$ ，因而能够预期的是对数据集求希望时 $ED[MLE]\mathbb{E}_{\mathcal{D}}[\mu_{MLE}]$ 是无误差的：

ED[MLE]=ED[1N∑i=1Nxi]=1N∑i=1NED[xi]=\mathbb{E}_{\mathcal{D}}[\mu_{MLE}]=\mathbb{E}_{\mathcal{D}}[\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}]=\frac{1}{N}\sum\limits _{i=1}^{N}\mathbb{E}_{\mathcal{D}}[x_{i}]=\mu

但是当对 $MLE\sigma_{MLE}$ 求希望的时候由于运用了单个数据集的 $MLE\mu_{MLE}$ ，因而对一切数据集求希望的时候咱们会发现 $MLE\sigma_{MLE}$ 是有偏的：

有偏的原因是由于用样本均值 $MLE\mu_{MLE}$ 替代整体均值，假如本身系统设计时均值是已知的。只用MLE算方差的话，除以n也仍是无偏估计

别的、假如 $E[]=E[\hat{\mu}] = \mu$ 那么，像这种样子咱们就认为他是无偏的，假如 ≠ 则是无偏的

补充：下述公式中倒数第二行改动，是由于离散型随机变量方差核算公式：(只需未知数套上了一层E，默认便是常数处理了。)
$D(X)=E((X−E(X))2)=E(X2)−E2(X)D(X)=E\left((X-E(X))^{2}\right)=E\left(X^{2}\right)-E^{2}(X)$

ED[MLE2]=ED[1N∑i=1N(xi−MLE)2]=ED[1N∑i=1N(xi2−2xiMLE+MLE2)=ED[1N∑i=1Nxi2−MLE2]=ED[1N∑i=1Nxi2−2−(MLE2−2)]=ED[1N∑i=1Nxi2−2]−ED[MLE2−2]=1N∑i=1N(ED(xi2)−2)−(ED[MLE2]−ED2[MLE])=2−(ED[MLE2]−2)=2−(ED[MLE2]−ED2[MLE])=2−Var[MLE]=2−Var[1N∑i=1Nxi]=2−1N2∑i=1NVar[xi]=N−1N2\begin{aligned} \mathbb{E}_{\mathcal{D}}[\sigma_{MLE}^{2}]&=\mathbb{E}_{\mathcal{D}}[\frac{1}{N}\sum\limits _{i=1}^{N}(x_{i}-\mu_{MLE})^{2}]=\mathbb{E}_{\mathcal{D}}[\frac{1}{N}\sum\limits _{i=1}^{N}(x_{i}^{2}-2x_{i}\mu_{MLE}+\mu_{MLE}^{2}) \\&=\mathbb{E}_{\mathcal{D}}[\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}^{2}-\mu_{MLE}^{2}]=\mathbb{E}_{\mathcal{D}}[\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}^{2}-\mu^{2}-(\mu_{MLE}^{2}-\mu^{2})]\\ &= \mathbb{E}_{\mathcal{D}}[\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}^{2}-\mu^{2}]-\mathbb{E}_{\mathcal{D}}[\mu_{MLE}^{2}-\mu^{2}]\\ &=\frac{1}{N} \sum_{i=1}^{N}({\mathbb{E}_{\mathcal{D}}\left(x_{i}^{2}\right)-\mu^{2}})-(\mathbb{E}_{\mathcal{D}}[\mu_{MLE}^{2}]-\mathbb{E}_{\mathcal{D}}^{2}[\mu_{MLE}])\\&= \sigma^{2}-(\mathbb{E}_{\mathcal{D}}[\mu_{MLE}^{2}]-\mu^{2})=\sigma^{2}-(\mathbb{E}_{\mathcal{D}}[\mu_{MLE}^{2}]-\mathbb{E}_{\mathcal{D}}^{2}[\mu_{MLE}])=\sigma^{2}-Var[\mu_{MLE}]\\&=\sigma^{2}-Var[\frac{1}{N}\sum\limits _{i=1}^{N}x_{i}]=\sigma^{2}-\frac{1}{N^{2}}\sum\limits _{i=1}^{N}Var[x_{i}]=\frac{N-1}{N}\sigma^{2} \end{aligned}

能够理解为当 $\mu$ 取 $MLE\mu_{M L E}$ 就现已确认了一切 $x_{i}$ 的和等于 $\mu_{M L E}$ ，也便是说当 N-1 个 $x_{i}$ 确认今后，第 N 个 $x_{i}$ 也就被确认了，所以少了一个”自由度”，因而 $E[MLE2]=N−1N2E\left[\sigma_{M L E}^{2}\right]=\frac{N-1}{N} \sigma^{2}$

所以真实的 $2\sigma^2$ 为：

2=1N−1∑i=1N(xi−MLE)2\hat{\sigma}^{2}=\frac{1}{N-1}\sum\limits _{i=1}^{N}(x_{i}-\mu_{MLE})^{2}

得到定论：求得有偏的方差，将样本总数减一即为无偏的方差（有偏的方差 < 无偏的方差）方差往小的方向估计了，也便是用极大似然估计确实会带来一定的误差，对于高斯散布来说便是估计小了

也很好理解，由于样本是整体的一部分，而方差是一切样本的散布状况，跟着样本的增加，方差会增大

此外，在抽样时，样本落在中间区域的概率大，所以抽样的数据离散程度小于整体，所以抽样方差小，也很好理解

二、多维状况

多维高斯散布表达式为：

x∼iidN(,)=p(x∣,)=1(2)D/2∣∣1/2exp⁡(−12(x−)T−1(x−)⏟二次型)x∈Rp,r⋅vx=(x1x2⋮xp)=(12⋮p)=[1112⋯1p2122⋯2p⋮⋮⋱⋮p1p2⋯pp]pp\begin{array}{c} x \stackrel{i i d}{\sim} N(\mu, \Sigma)=p(x|\mu,\Sigma)=\frac{1}{(2 \pi)^{D / 2}|\Sigma|^{1 / 2}} \exp (-\frac{1}{2} \underbrace{(x-\mu)^{T} \Sigma^{-1}(x-\mu)}_{\text {二次型 }}) \\ x \in \mathbb{R}^{p}, r \cdot v \\ x=\left(\begin{array}{c} x_{1} \\ x_{2} \\ \vdots \\ x_{p} \end{array}\right) \mu=\left(\begin{array}{c} \mu_{1} \\ \mu_{2} \\ \vdots \\ \mu_{p} \end{array}\right) \Sigma=\left[\begin{array}{cccc} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1 p} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2 p} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{p 1} & \sigma_{p 2} & \cdots & \sigma_{p p} \end{array}\right]_{p \times p} \end{array}

$\Sigma$ 一般是半正定的, 在本次证明中假定是正定的, 即一切的特征值都是正的，没有 0 。

其间 $x,∈Rp,∈Rppx,\mu\in\mathbb{R}^{p},\Sigma\in\mathbb{R}^{p\times p}$ ， $\Sigma$ 为协方差矩阵，一般来说也是半正定矩阵。这里咱们只考虑正定矩阵。对于咱们高维的高斯散布，未知数只要自变量 $x$ ，其余的 $\mu$ 、 $\Sigma$ 都能够作为常量处理。首要咱们处理指数上的数字，指数上的数字能够记为 $x$ 和 $\mu$ 之间的马氏间隔。

马氏间隔

$(x−)T−1(x−)为马氏间隔（x与之间，当为I时马氏间隔即为欧氏间隔。\sqrt{(x-\mu)^{T}\Sigma ^{-1}(x-\mu)}为马氏间隔（x与\mu之间，当\Sigma为I时马氏间隔即为欧氏间隔。$

正定矩阵与半正定矩阵

给定一个巨细为 $\times n$ 的实对称矩阵 $A$ ，若对于恣意长度为 $n$ 的非零向量 $x\boldsymbol{x}$ ，有 $xTAx>0\boldsymbol{x}^{T} A \boldsymbol{x}>0$ 恒建立，则矩阵 $A$ 是一个正定矩阵，有 $xTAx≥0\boldsymbol{x}^{T} A \boldsymbol{x} \geq 0$ 恒建立，则矩阵 $A$ 是一个半正定矩阵。

三、证明高斯散布等高线为”椭圆”

协方差矩阵的特征值分化

恣意的 $\times N$ 实对称矩阵都有 $N$ 个线性无关的特征向量。而且这些特征向量都能够正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 $\Sigma$ 可被分化成 $=UUT\Sigma=U\Lambda U^{T}$ 。

,p\begin{gathered} & \text { 将 } \Sigma \text { 进行特征分化, } \Sigma=U \Lambda U^T \\ & \text { 其间 } U U^T=U^T U=I, \quad \underset{i=1,2, \cdots, p}{=\operatorname{diag}}\left(\lambda_i\right), U=\left(u_1, u_2, \cdots, u_p\right)_{p \times p} \\ & \text { 因而 } \Sigma=U \Lambda U^T \\ & =\left(\begin{array}{llll} u_1 & u_2 & \cdots & u_p \end{array}\right)\left[\begin{array}{cccc} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_p \end{array}\right]\left(\begin{array}{c} u_1^T \\ u_2^T \\ \vdots \\ u_p^T \end{array}\right) \\ & =\left(\begin{array}{llll} u_1 \lambda_1 & u_2 \lambda_2 & \cdots & u_p \lambda_p \end{array}\right)\left(\begin{array}{c} u_1^T \\ u_2^T \\ \vdots \\ u_p^T \end{array}\right) \\ & =\sum_{i=1}^p u_i \lambda_i u_i^T \\ & \Sigma^{-1}=\left(U \Lambda U^T\right)^{-1}=\left(U^T\right)^{-1} \Lambda^{-1} U^{-1}=U \Lambda^{-1} U^T=\sum_{i=1}^p u_i \frac{1}{\lambda_i} u_i^T \\ &\text {, 其间 } \Lambda^{-1}=\operatorname{diag}\left(\frac{1}{\lambda_i}\right), i=1,2, \cdots, p \\ & \end{gathered}

将概率密度整理成椭圆方程的方式

=(x−)T−1(x−)=(x−)T∑i=1pui1iuiT(x−)=∑i=1p(x−)Tui1iuiT(x−)(令yi=(x−)Tui)=∑i=1pyi1iyiT=∑i=1pyi2i\begin{array}{l} \Delta=(x-\mu)^{T} \Sigma^{-1}(x-\mu) \\ =(x-\mu)^{T} \sum_{i=1}^{p} u_{i} \frac{1}{\lambda_{i}} u_{i}^{T}(x-\mu) \\ =\sum_{i=1}^{p}(x-\mu)^{T} u_{i} \frac{1}{\lambda_{i}} u_{i}^{T}(x-\mu) \\ \left(\text { 令 } y_{i}=(x-\mu)^{T} u_{i}\right) \\ =\sum_{i=1}^{p} y_{i} \frac{1}{\lambda_{i}} y_{i}^{T} \\ =\sum_{i=1}^{p} \frac{y_{i}^{2}}{\lambda_{i}} \\ \end{array}

上式中 $yi=(x−)Tuiy_{i}=(x-\mu )^{T}u _{i}$ 能够理解为将 $x$ 减去均值进行中心化今后再投影到 $u _{i}$ ( $u_{i}$ 是正交矩阵的一个基向量，代表一个坐标轴)方向上，相当于做了一次坐标轴变换。 $y_{i}$ 是 $x−x-\mu$ 在特征向量 $u_{i}$ 上的投影长度，因而上式子便是 $\Delta$ 取不同值时的同心椭圆。

当 $x$ 的维度为2即 $p = 2$ 时 $=y121+y222\Delta =\frac{y_{1}^{2}}{\lambda _{1}}+\frac{y_{2}^{2}}{\lambda _{2}}$ ，得到相似椭圆方程的等式，所以也就能够解说为什么其等高线是椭圆形状。二维高斯散布的图画如下所示：

所以跟着 $x$ 的取值不断改动，即在维度为2的状况下，椭圆的长轴和短轴的长度也跟着唯一自变量 $x$ 不断改动，切面也就不断变大和变小。

四、高斯散布的局限性

参数过多协方差矩阵 $pp\Sigma_{p \times p}$ 中的参数共有 $1+2+⋯+p=p(p+1)21+2+\cdots+p=\frac{p(p+1)}{2}$ 个 ( $pp\Sigma_{p \times p}$ 是对称矩阵(参数个数少一半左右))），因而当 $x$ 的维度 $p$ 很大时，高斯散布的参数就会有许多，其核算复杂度为 $O(p2)O\left(p^{2}\right)$ ) 。能够经过假定高斯散布的协方差矩阵为对角矩阵来削减参数，当高斯散布的协方差矩阵为对角矩阵(仅对角线上有参数)时，无需特征值分化，特征向量的方向就会和原坐标轴的方向平行，因而高斯散布的等高线 (同心椭圆) 就不会歪斜。别的假如在高斯散布的协方差矩阵为对角矩阵为对角矩阵的基础上使得其特征值悉数相等 (即 $\lambda_{1}=\lambda_{2}=\cdots=\lambda_{i}$ ）, 则高斯散布的等高线就会成为一个圆形，而且不会歪斜，称为各向同性。

$\Sigma$ 若退化为对角矩阵，那么 $(yi=(x−)Txi)\left(y_{i}=(x-\mu)^{T} x_{i}\right)$ ，即每一个样本x代表它本身，U现已不存在（SVD分化，将U代表旋转，^代表特征值），方向与若 $x_{i}$ 坚持方正（而每一个 $x_{i}$ 独立同散布）。 ^ 中的 $i\lambda_{i}$ 均相等，则持有特向同性，退化为圆

单个高斯散布是单峰，对有多个峰的数据散布不能得到好的结果，拟合才能有限解决方案是运用多个高斯散布，比方高斯混合GMM模型。

五、求高斯散布的边际概率与条件概率

概述

首要将变量、均值和方差进行区分：

$x=(xaxb),其间xa是m维的,xb是n维的。x=\left(\begin{array}{l}x_a \\ x_b\end{array}\right), 其间 x_a 是 m 维的, x_b 是 n 维的。$ $=(ab)=(aaabbabb)\mu=\left(\begin{array}{c} \mu_a \\ \mu_b \end{array}\right) \Sigma=\left(\begin{array}{cc} \Sigma_{a a} & \Sigma_{a b} \\ \Sigma_{b a} & \Sigma_{b b} \end{array}\right)$

本部分旨在依据上述已知来求 $P(xa),P(xb∣xa),P(xb),P(xa∣xb)P\left(x_a\right), P\left(x_b \mid x_a\right), P\left(x_b\right), P\left(x_a \mid x_b\right)$ 。 2. 定理以下界说为推导过程中主要用到的定理，这里只展现定理的内容，不进行证明:

$\sim N(\mu, \Sigma), x \in \mathbb{R}^p\\ y=A x+B, y \in \mathbb{R}^q\\ 定论: y \sim N\left(A \mu+B, A \Sigma A^T\right)$

一个简单但不严谨的证明:

$E[y]=E[Ax+B]=AE[x]+B=A+BVar⁡[y]=Var⁡[Ax+B]=Var⁡[Ax]+Var⁡[B]=AVar⁡[x]AT+0=AAT\begin{gathered} E[y]=E[A x+B]=A E[x]+B=A \mu+B \\ \operatorname{Var}[y]=\operatorname{Var}[A x+B] \\ =\operatorname{Var}[A x]+\operatorname{Var}[B] \\ =A \operatorname{Var}[x] A^T+0 \\ =A \Sigma A^T \end{gathered}$

求边际概率 $P(xa)P\left(x_a\right)$

$xa=(Im0n)⏟A(xaxb)⏟xE[xa]=(Im0n)(ab)=aVar⁡[xa]=(Im0n)(aaabbabb)(Im0n)=(aaab)(Im0n)=aa\begin{gathered} x_a=\underbrace{\left(\begin{array}{ll} I_m & 0_n \end{array}\right)}_A \underbrace{\left(\begin{array}{c} x_a \\ x_b \end{array}\right)}_x \\ E\left[x_a\right]=\left(\begin{array}{ll} I_m & 0_n \end{array}\right)\left(\begin{array}{c} \mu_a \\ \mu_b \end{array}\right)=\mu_a \\ \operatorname{Var}\left[x_a\right]=\left(\begin{array}{ll} I_m & 0_n \end{array}\right)\left(\begin{array}{cc} \Sigma_{a a} & \Sigma_{a b} \\ \Sigma_{b a} & \Sigma_{b b} \end{array}\right)\left(\begin{array}{c} I_m \\ 0_n \end{array}\right) \\ =\left(\begin{array}{ll} \Sigma_{a a} & \Sigma_{a b} \end{array}\right)\left(\begin{array}{c} I_m \\ 0_n \end{array}\right)=\Sigma_{a a} \end{gathered}$

所以 $xa∼N(a,aa)x_a \sim N\left(\mu_a, \Sigma_{a a}\right)$ ，同理 $xb∼N(b,bb)x_b \sim N\left(\mu_b, \Sigma_{b b}\right)$ 。 4. 求条件概率 $P(xb∣xa)P\left(x_b \mid x_a\right)$

$结构{xb⋅a=xb−baaa−1xab⋅a=b−baaa−1abb⋅a=bb−baaa−1ab(bb⋅a是aa的舒尔补)xb⋅a=(baaa−1In)⏟A(xaxb)⏟xE[xb⋅a]=(−baaa−1In)(ab)=b−baaa−1a=b⋅aVar⁡[xb⋅a]=(−baaa−1In)(aaabbabb)(−aa−1baTIn)=(−baaa−1aa+ba−baaa−1ab+bb)=(0−baaa−1ab+bb)(−aa−1baTIn)=bb−baaa−1ab=bb⋅a\begin{gathered} & \text { 结构 }\left\{\begin{array}{c} x_{b \cdot a}=x_b-\Sigma_{b a} \Sigma_{a a}^{-1} x_a \\ \mu_{b \cdot a}=\mu_b-\Sigma_{b a} \Sigma_{a a}^{-1} \mu_a \\ \Sigma_{b b \cdot a}=\Sigma_{b b}-\Sigma_{b a} \Sigma_{a a}^{-1} \Sigma_{a b} \end{array}\right. \\ & \text { ( } \Sigma_{b b \cdot a} \text { 是 } \Sigma_{a a} \text { 的舒尔补) } \\ & x_{b \cdot a}=\underbrace{\left(\begin{array}{ll} \Sigma_{b a} \Sigma_{a a}^{-1} & I_n \end{array}\right)}_A \underbrace{\left(\begin{array}{c} x_a \\ x_b \end{array}\right)}_x \\ & E\left[x_{b \cdot a}\right]=\left(\begin{array}{cc} -\Sigma_{b a} \Sigma_{a a}^{-1} & I_n \end{array}\right)\left(\begin{array}{l} \mu_a \\ \mu_b \end{array}\right)=\mu_b-\Sigma_{b a} \Sigma_{a a}^{-1} \mu_a=\mu_{b \cdot a} \\ & \operatorname{Var}\left[x_{b \cdot a}\right]=\left(\begin{array}{cc} -\Sigma_{b a} \Sigma_{a a}^{-1} & I_n \end{array}\right)\left(\begin{array}{cc} \Sigma_{a a} & \Sigma_{a b} \\ \Sigma_{b a} & \Sigma_{b b} \end{array}\right)\left(\begin{array}{c} -\Sigma_{a a}^{-1} \Sigma_{b a}^T \\ I_n \end{array}\right) \\ & =\left(\begin{array}{cc} -\Sigma_{b a} \Sigma_{a a}^{-1} \Sigma_{a a}+\Sigma_{b a} & -\Sigma_{b a} \Sigma_{a a}^{-1} \Sigma_{a b}+\Sigma_{b b} \end{array}\right) \\ & =\left(\begin{array}{ll} 0 & -\Sigma_{b a} \Sigma_{a a}^{-1} \Sigma_{a b}+\Sigma_{b b} \end{array}\right)\left(\begin{array}{c} -\Sigma_{a a}^{-1} \Sigma_{b a}^T \\ I_n \end{array}\right) \\ & =\Sigma_{b b}-\Sigma_{b a} \Sigma_{a a}^{-1} \Sigma_{a b} \\ & =\Sigma_{b b \cdot a} \\ & \end{gathered}$

现在能够得到 $xb⋅a∼N(b⋅a,bb⋅a)x_{b \cdot a} \sim N\left(\mu_{b \cdot a}, \Sigma_{b b \cdot a}\right)$ 。依据 $x_b$ 与 $xb⋅ax_{b \cdot a}$ 的联系能够得到 $xb∣xax_b \mid x_a$ 的散布:

$xb=xb⋅a⏟x+baaa−1xa⏟B(在求条件概率P(xb∣xa)时xa对于xb来说能够看做已知,因而上式中baaa−1xa看做常量B)E[xb∣xa]=b⋅a+baaa−1xaVar⁡[xb∣xa]=Var⁡[xb⋅a]=bb⋅ax_b=\underbrace{x_{b \cdot a}}_x+\underbrace{\Sigma_{b a} \Sigma_{a a}^{-1} x_a}_B\\ (在求条件概率 P\left(x_b \mid x_a\right) 时 x_a 对于 x_b 来说能够看做已知, 因而上式中 \Sigma_{b a} \Sigma_{a a}^{-1} x_a 看做常量 B )\\ \begin{gathered} E\left[x_b \mid x_a\right]=\mu_{b \cdot a}+\Sigma_{b a} \Sigma_{a a}^{-1} x_a \\ \operatorname{Var}\left[x_b \mid x_a\right]=\operatorname{Var}\left[x_{b \cdot a}\right]=\Sigma_{b b \cdot a} \end{gathered}\\$

因而能够得到 $xb∣xa∼N(b⋅a+baaa−1xa,bb⋅a)x_b \mid x_a \sim N\left(\mu_{b \cdot a}+\Sigma_{b a} \Sigma_{a a}^{-1} x_a, \Sigma_{b b \cdot a}\right)$ , 同理能够得到 $xa∣xb∼N(a⋅b+abbb−1xb,aa⋅b)x_a \mid x_b \sim N\left(\mu_{a \cdot b}+\Sigma_{a b} \Sigma_{b b}^{-1} x_b, \Sigma_{a a \cdot b}\right)$ 。

六、求高斯散布的联合概率散布

概述

$p(x)=N(x∣,−1)p(y∣x)=N(y∣Ax+b,L−1)和L是精度矩阵(precisionmatrix),precisionmatrix=(covariancematrix)T。\begin{gathered} p(x)=N\left(x \mid \mu, \Lambda^{-1}\right) \\ p(y \mid x)=N\left(y \mid A x+b, L^{-1}\right)\\ \Lambda 和 L 是精度矩阵 (precision matrix), precision matrix =(\text { covariance matrix })^T 。\\ \end{gathered}$

本部分旨在依据上述已知来求 $\mid y)$ 。

求解 $p (y)$

由上述已知能够确认 $y$ 与 $x$ 的联系为线性高斯模型， $\varepsilon$ 是人为界说的噪声，散布也是人为设定。

则 $y$ 与 $x$ 符合下述联系:

x+b+\varepsilon, \varepsilon \sim N\left(0, L^{-1}\right)

然后求解 $y$ 的均值和方差:

E[y]=E[Ax+b+]=E[Ax+b]+E[]=A+bVar⁡[y]=Var⁡[Ax+b+]=Var⁡[Ax+b]+Var⁡[]=A−1AT+L−1\begin{gathered} E[y]=E[A x+b+\varepsilon]=E[A x+b]+E[\varepsilon]=A \mu+b \\ \operatorname{Var}[y]=\operatorname{Var}[A x+b+\varepsilon]=\operatorname{Var}[A x+b]+\operatorname{Var}[\varepsilon]=A \Lambda^{-1} A^T+L^{-1} \end{gathered}

则能够得出 $\sim N\left(A \mu+b, L^{-1}+A \Lambda^{-1} A^T\right)$

求解 $\mid y)$

求解 $\mid y)$ 需要首要求解 $x$ 与 $y$ 的联合散布，然后依据上一部分的公式直接得到 $\mid y)$ 。

$z=\left(\begin{array}{l}x \\ y\end{array}\right) \sim N\left(\left[\begin{array}{c}\mu \\ A \mu+b\end{array}\right],\left[\begin{array}{cc}\Lambda^{-1} & \Delta \\ \Delta^T & L^{-1}+A \Lambda^{-1} A^T\end{array}\right]\right)\\ 现在需要求解 \Delta\\ \begin{gathered} \Delta=\operatorname{Cov}(x, y) \\ =E\left[(x-E[x])(y-E[y])^T\right] \\ =E\left[(x-\mu)(y-A \mu-b)^T\right] \\ =E\left[(x-\mu)(A x+b+\varepsilon-A \mu-b)^T\right] \\ =E\left[(x-\mu)(A x-A \mu+\varepsilon)^T\right] \\ =E\left[(x-\mu)(A x-A \mu)^T+(x-\mu) \varepsilon^T\right] \\ =E\left[(x-\mu)(A x-A \mu)^T\right]+E\left[(x-\mu) \varepsilon^T\right]\\ (由于 x \perp \varepsilon, 所以 (x-\mu) \perp \varepsilon, 所以 E\left[(x-\mu) \varepsilon^T\right]=E[(x-\mu)] E\left[\varepsilon^T\right] )\\ =E\left[(x-\mu)(A x-A \mu)^T\right]+E[(x-\mu)] E\left[\varepsilon^T\right] \\ =E\left[(x-\mu)(A x-A \mu)^T\right]+E[(x-\mu)] \cdot 0 \\ =E\left[(x-\mu)(A x-A \mu)^T\right] \\ =E\left[(x-\mu)(x-\mu)^T A^T\right] \\ =E\left[(x-\mu)(x-\mu)^T\right] A^T \\ =\operatorname{Var}[x] A^T \\ =\Lambda^{-1} A^T\\ 由此可得 z=\left(\begin{array}{l}x \\ y\end{array}\right) \sim N\left(\left[\begin{array}{c}\mu \\ A \mu+b\end{array}\right],\left[\begin{array}{cc}\Lambda^{-1} & \Lambda^{-1} A^T \\ A \Lambda^{-1} & L^{-1}+A \Lambda^{-1} A^T\end{array}\right]\right)\\ 套用上一部分的公式能够得到 x \mid y \sim N\left(\mu_{x \cdot y}+\Lambda^{-1} A^T\left(L^{-1}+A \Lambda^{-1} A^T\right)^{-1} y, \Sigma_{x x \cdot y}\right) \end{gathered}$

『白板推导系列笔记』2.高斯分布

高斯散布

一、一维状况 MLE

二、多维状况

三、证明高斯散布等高线为”椭圆”

四、高斯散布的局限性

五、求高斯散布的边际概率与条件概率

六、求高斯散布的联合概率散布

作者信息

『白板推导系列笔记』2.高斯分布

高斯散布

一、一维状况 MLE

二、多维状况

三、证明高斯散布等高线为”椭圆”

四、高斯散布的局限性

五、求高斯散布的边际概率与条件概率

六、求高斯散布的联合概率散布

相关文章

不同于Oracle：MySQL的insert会阻塞update

MicroBlocks 编程案例: 正中靶心！

提取图片主颜色及灰度图

语义分割专栏（二）复习FCN的编解码结构

作者信息