加和法则：p(x)=∫p(x,y)dyp(x)=∫p(x,y)dyp(x)=∫p(x,y)dy乘积法则：p(x,y)=p(y∣x)p(x)p(x,y)=p(y|x)p(x)p(x,y)=p(y∣x)p(x)贝叶斯定理：p(y∣x)=p(x∣y)p(y)p(x)p(y|x)=\frac{p(x|y)p(y)}{p(x)}p(y∣x)=p(x)p(x∣y)p(y)其中，分母p(x)=∫p(x∣y)p(y)dyp(x)=∫p(x|y)p(y)dyp(x)=∫p(x∣y)p(y)dy
1 分布
概率密度必须满足p(x)≥1且∫p(x)dx=1p(x)≥1且∫p(x)dx=1p(x)≥1且∫p(x)dx=1
1.1 均匀分布
均匀分布在有限区间内是常数，其他地方为0，表达式为p(x)=1d−c，x∈(c,d)p(x)=\frac{1}{d-c}，x∈(c,d)p(x)=d−c1，x∈(c,d)
1.2 指数分布
p(x∣λ)=λe−λx，x≥0p(x|λ)=λe^{-λx}，x≥0p(x∣λ)=λe−λx，x≥0
1.3 拉普拉斯分布
p(x∣μ,γ)=12γe−∣x−μ∣γp(x|μ,γ)=\frac{1}{2γ}e^{-\frac{|x-μ|}{γ}}p(x∣μ,γ)=2γ1e−γ∣x−μ∣
1.4 狄拉克δ函数构造经验分布
狄拉克δ函数p(x∣μ)=δ(x−μ)p(x|μ)=δ(x-μ)p(x∣μ)=δ(x−μ)定义为在除了x=μx=μx=μ除的其他任意位置均为0，且具有积分为1的特性。可将其视为一个位于x=μx=μx=μ除的无限窄且无限高的峰，并具有单位面积的性质。若有个xxx的有限观测值集合D={x1,⋯,xN}D=\{ x_1,⋯,x_N\}D={x1,⋯,xN}，可构造经验分布p(x∣D)=1N∑n=1Nδ(x−xn)p(x|D)=\frac{1}{N}\sum_{n=1}^Nδ(x-x_n)p(x∣D)=N1n=1∑Nδ(x−xn)
2 期望（expectation）
某函数f(x)f(x)f(x)在概率分布p(x)p(x)p(x)下的加权平均称为f(x)f(x)f(x)的期望，用E(f)E(f)E(f)表示。对于离散分布E(f)=∑xp(x)f(x)E(f)=\sum_xp(x)f(x)E(f)=x∑p(x)f(x)对于连续变量E(f)=∫p(x)f(x)dxE(f)=∫p(x)f(x)dxE(f)=∫p(x)f(x)dx不论哪种情况，若从概率分布或概率密度中得到NNN个有限数量的点，则期望可以近似为这些点的有限和E(f)≈1N∑n=1Nf(xn)E(f)≈\frac{1}{N}\sum_{n=1}^Nf(x_n)E(f)≈N1n=1∑Nf(xn)考虑多个变量的函数期望，可用下标表示哪个变量被平均Ex[f(x,y)]E_x[f(x,y)]Ex[f(x,y)]注意，该期望是关于yyy的函数。也可以考虑条件期望Ex[f∣y]=∑xp(x∣y)f(x)E_x[f|y]=\sum_xp(x|y)f(x)Ex[f∣y]=x∑p(x∣y)f(x) Ex[f∣y]E_x[f|y]Ex[f∣y]也是关于yyy的函数。对于连续变量Ex[f∣y]=∫p(x∣y)f(x)dxE_x[f|y]=∫p(x|y)f(x)dxEx[f∣y]=∫p(x∣y)f(x)dx
3 方差（variance）
f(x)f(x)f(x)的方差定义为var[f]=E[f(x)−E[f(x)]2]var[f]=E\left[f(x)-E[f(x)]^2\right]var[f]=E[f(x)−E[f(x)]2]这个式子度量了f(x)f(x)f(x)围绕其平均值E[f(y)]E[f(y)]E[f(y)]的变化程度。平方展开后也可写成var[f]=E[f2(x)]−E[f(x)]2var[f]=E[f^2(x)]-E[f(x)]^2var[f]=E[f2(x)]−E[f(x)]2变量xxx的方差，定义为var[x]=E[x2]−E2[x]var[x]=E[x^2]-E^2[x]var[x]=E[x2]−E2[x]
4 协方差（covariance）
协方差度量了两个变量一起变化的程度，定义为cov[x,y]=Ex,y[{x−E[X]}{y−E[y]}]=Ex,y[xy]E[x]E[y]\begin{align*} cov[x,y]&=E_{x,y}[\{x-E[X]\}\{y-E[y]\}] \\ &= E_{x,y}[xy]E[x]E[y] \end{align*} cov[x,y]=Ex,y[{x−E[X]}{y−E[y]}]=Ex,y[xy]E[x]E[y]若x,yx,yx,y独立，则它们的协方差为零。
对于两个向量x,yx,yx,y，它们的协方差是由下式给出的矩阵cov[x,y]=Ex,y[{x−E[X]}{yT−E[yT]}]=Ex,yT[xy]E[x]E[yT]\begin{align*} cov[x,y]&=E_{x,y}[\{x-E[X]\}\{y^T-E[y^T]\}] \\ &= E_{x,y^T}[xy]E[x]E[y^T] \end{align*} cov[x,y]=Ex,y[{x−E[X]}{yT−E[yT]}]=Ex,yT[xy]E[x]E[yT]