关于离散变量和连续变量的联合分布的一些讨论

离散变量与连续变量的联合分布

离散变量（记作 XXX，取值 x1,x2,...x_1, x_2, ...x1,x2,...）与连续变量（记作 YYY）的联合分布无法用一个单一的联合概率质量函数（PMF）或联合概率密度函数（PDF）来表达，而是通过边缘概率 与条件密度的组合来定义。

联合分布可以用以下两种等价方式描述：

联合累积分布函数 (CDF) ：

联合累积分布函数 FX,Y(x,y)F_{X,Y}(x,y)FX,Y(x,y) 定义为概率 P(X≤x,Y≤y)P(X ≤ x, Y ≤ y)P(X≤x,Y≤y)。

该函数在 x 维度上呈阶梯状变化（离散跳跃），在 y 维度上连续。
混合密度/质量形式 ：

混合密度/质量形式为 fX,Y(xi,y)=P(X=xi)f_{X,Y}(x_i, y) = P(X = x_i)fX,Y(xi,y)=P(X=xi) 乘以 fY∣X(y∣xi)f_{Y|X}(y | x_i)fY∣X(y∣xi)。

其中 fY∣X(y∣xi)f_{Y|X}(y | x_i)fY∣X(y∣xi)是在给定 X=xiX = x_iX=xi 条件下的条件概率密度函数。

每个离散类别对应一个连续的分布族（例如高斯分布）：

fY∣X(y∣xi)f_{Y|X}(y|x_i)fY∣X(y∣xi) 服从均值为 μi\mu_iμi、方差为 σi2\sigma_i^2σi2 的正态分布。

分组回归 ： YYY 在给定 X=xiX = x_iX=xi 的条件下服从正态分布，其均值为 β0+βi\beta_0 + \beta_iβ0+βi，方差为 σ2\sigma^2σ2
方差分析 (ANOVA)：组别（离散）决定连续响应的均值。

将离散变量视为连续潜变量的分段结果，从而使用连续 Copula 建模。

离散变量 X	条件连续变量 Y	应用场景
XXX 属于集合 {0,1}\{0,1\}{0,1}	在给定 XXX 的条件下，YYY 服从均值为 μX\mu_XμX、方差为 σ2\sigma^2σ2 的正态分布	二分类下的连续响应
XXX 服从参数为 λ\lambdaλ 的泊松分布	YYY	RX∼Gamma(X,β)RX \sim \text{Gamma}(X, \beta)RX∼Gamma(X,β)
XXX = 学校类别	(Y) = 考试成绩	教育评估中的分组模型

均值：期望 E $Y$ E $Y$ E $Y$ 等于对所有 i 求和，求和项为 P(X=xi)P(X=x_i)P(X=xi) 乘以条件期望 E $Y\|X=x_i$ 。
协方差 ：协方差 Cov(X,Y)Cov(X,Y)Cov(X,Y) 需小心处理（因 XXX 离散，通常改用点双列相关系数）。
条件期望 ：条件期望 E $Y\|X=x_i$ 是离散 XXX 的函数。

三维图：离散点处画出条件密度曲线（如核密度估计）。
似然函数 ：
似然函数 L(θ)L(\theta)L(θ) 等于从 j=1 到 n 的连乘，每一项为 P(X=xj)P(X=x_j)P(X=xj) 乘以条件密度 fY∣X(yj∣xj)f_{Y|X}(y_j|x_j)fY∣X(yj∣xj)。
EM 算法常用于混合模型的参数估计。