概率论与数理统计-随机变量及其概率分布

一维随机变量

随机变量的概念

随机变量的定义:“其值随机会而定”的变量,是试验结果的函数

随机变量的反面为确定性变量,其取值遵循某种严格的规律的变量;

随机事件与随机变量的关系:前者从静态观点来研究随机现象,后者从动态观点,随机变量(向量)的研究,是概率论的中心内容

随机变量的分类(按其可能取的值的全体的性质):离散型随机变量(只能取有限个值)和连续性随机变量(取值充满某一个区间,数学上抽象的情况)

随机变量的研究:取值、取各种值的概率

离散型随机变量的分布及其例子

\begin{de}[离散型随机变量概率函数的定义]
\end{de}

设 X 为离散型随机变量,其全部可能值为 \(\lbrace a_1, a_2, \dots \rbrace \) ,则下式称为为随机变量的概率函数

\begin{equation}
p_i = P(X = a_i) \qquad (i = 1, 2, \dots )
\end{equation}

显然,有 \(p_i \geqslant 0 , p_1 + p_2 + \dots = 1\)

\begin{de}[随机变量分布函数定义]
\end{de}

设 X 为一随机变量,则函数 P(公式见下)称为 X 的分布函数

\begin{equation}
F(x) = P(X \leqslant x) = F(x) (-\infty < x < ∞) = \sum_{\lbrace i|a_i ⩽ x \rbrace }p_i
\end{equation}

离散型随机变量的概率函数和分布函数的关系:等价,知道其一即可知道另一个

随机变量的分布函数\(F(x)\)的性质:

  • \(F(x)\) 是单调非降: 当 \(x_1 ⩽ x_2\) 时,有 \(F(x_1) ⩽ F(x_2)\)
  • \(x → \infty\)时, \(F(x) → 1\) ; \(x → - \infty\)时, \(F(x) → 0\)

离散性随机变量分布-二项分布

\begin{de}[二项分布定义]
\end{de}

设某事件 A 在一次试验中发生的概率为 p, 先将这个试验独立的重复 n 次,以 X 记作 A 在 n 次试验中发生的次数,n 可取 \(0, 1, \dots ,n\) 等值,如 X 遵从下式,则称 X 所遵从的概率分布为二项分布,并常记为 \(B(n, p)\) ,记为 \(X \sim B(n, p)\)

\begin{equation}
p_i = P(X = i) = b(i; n; p) = \binom{n}{i}p_i(1-p)^{n-p}
\end{equation}

二项分布的条件:各次试验的条件是稳定的;各次试验的独立性

离散性随机变量分布-泊松分布

\begin{de}[泊松分布定义]
\end{de}

随机变量 X 的可能取值为 \(0, 1, 2 \dots\) , 且概率分布如下式,则称 X 服从泊松分布,常记为 \(X \sim P(λ)\)

\begin{equation}
P(X = i) = e^{-λ}λ^i \divslash i! 
\end{equation}

波瓦松分布出现场合:表示在一定时间和空间内出现的事件个数

二项分布和波瓦松分布的关系:波瓦松分布可作为二项分布的极限而得到,若 X 服从 \(B(n, p)\) ,其中 n 很大,p 很小而 np 不太大时,则 X 的分布接近于参数为 np 的波瓦松分布

离散性随机变量分布-超几何分布

\begin{de}[超几何分布定义]
\end{de}

随机变量 X 记为从 N 个产品里随机抽出 n 个里面所含废品数(废品总数为 M),若 X 满足下式,则称 X 服从超级和分布

\begin{equation}
  P(X = m) = \binom{M}{m} \binom{N-M}{n-m} \xsol \binom{N}{n} 
\end{equation}

在本例中,当 n 固定时, \(M \devslash N = p\) 固定,当 \(N → ∞\) 时,X 近似服从二项分布 \(B(n, p)\)

离散性随机变量分布-负二项分布

\begin{de}[负二项分布定义]
\end{de}

负二项分布是定下废品个数 r,把总抽样次数减去 r 作为变量,概率分布如下式,则称 X 服从负二项分布

\begin{equation}
  P(X = i) = b(r-1; i+r-1, p)p = \binom{i+r-1}{r-1}p^r(1-p)^i \qquad (i = 0, 1, 2, \dots) 
\end{equation}

\(r = 1\) 时,1 概率 \(p, p(1-p), p(1-p)^2, \dots\) 呈公比为 1-p 的几何级数,因此,称之为几何分布

连续性随机变量的分布及其例子

\begin{de}[连续性随机变量概率密度函数定义]
\end{de}

设连续型随机变量 X 有概率分布函数 F(x),则概率分布函数的导数 \(f(x) = F'(x)\) 称为 X 的概率密度函数

连续型随机变量 X 概率密度函数的三条基本性质:

  • \(f(x) ⩾ 0 \)
  • \(\int_{-\infty}^\infty dx = 1\)
  • 对任何常数 \(a < b\) , 有 \[P(a ⩽ X ⩽ b) = F(b) - F(a) = ∫_a^bf(x)\] 微积分基本定理

连续性随机变量分布-正态分布

\begin{de}[正态分布定义]
\end{de}

如果一个随机变量具有下式的概率密度函数,称 X 为正太随机变量,并记为 \(X \sim N(μ, σ)\) , μ 和 σ 都是常数,μ 可以取任何常数,而 \(0 < σ^2 < ∞\) .

\begin{equation}
f(x) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})
\end{equation}

两个重要的积分例子

  • \(I = \int_{-∞}^\infty exp(-\frac{t^2}{2}dt = \sqrt{2\pi}\) ,具体证明可以考虑 \(I^2 = 2\pi\)
  • \(I = \int_{-∞}^\infty t^2exp(-\frac{t^2}{2})dt = \sqrt{2\pi}\) ,用分部积分可得到

\begin{de}[标准正态分布]
\end{de}

若正太分布当 \(\mu = 0\) , \(σ^2 =1\) 时,称下式为正太分布 \(N(0, 1)\) 的密度函数, \\(N(0, 1)\) 称为标准正太分布

\begin{equation}
f(x) = \frac{1}{\sqrt{2\pi}}exp(-\frac{x^2}{2})
\end{equation}

一般在概率论中,正太分布的密度函数和分布函数分别记为 \(\phi(x)\) (或 手写的 \(\varphi(x)\)), \(Φ(x)\)

连续性随机变量分布-指数分布

\begin{de}[指数分布定义]
\end{de}

若随机变量 X 有以下概率密度函数,则称 X 服从指数分布,其中 \(λ > 0\) 为参数

\begin{equation}
f(x) = \left\{\begin{array}{ll}
               λe^{-λx}, & if \quad x > 0 \\
               0,    & if \quad \(x ⩽ 0\)
              \end{array} \right.
\end{equation}

变量 X 的分布函数 F(x) 见下式,指数分布最常见的一个场合是寿命分布, \(λ^{-1}\) 就是平均寿命

\begin{equation}
F(x) = P(X ⩽ x) = \int_{-∞}^xf(t)dt = \left\{\begin{array}{ll}
                                       0,    & if \quad \(x ⩽ 0\) \\
                                       1 - e^{-λx}, & if \quad x > 0 
                                      \end{array}\right
\end{equation}

连续性随机变量分布-威布尔分布

\begin{de}[威布尔分布]
\end{de}

若随机变量 X 有以下概率密度函数,则称 X 服从威布尔分布,其中 \(λ > 0\) , \(m > 0\) 是常数

\begin{equation}
f(x) = \left\{\begin{array}{ll}
               λαe^{-λx^\alpha}, & if \quad x > 0 \\
               0,    & if \quad \(x ⩽ 0\)
              \end{array} \right.
\end{equation}

变量 X 的分布函数 F(x) 见下式

\begin{equation}
F(x) = P(X ⩽ x) = \int_{-∞}^xf(t)dt = \left\{\begin{array}{ll}
                                       0,    & if \quad \(x ⩽ 0\) \\
                                       1 - e^{-λx^\alpha}, & if \quad x > 0 
                                      \end{array}\right
\end{equation}

指数分布是威布尔分布当 \(α = 1\) 时的特例,威布尔分布考虑 λ 随事件变化而变化

连续性随机变量分布-均匀分布

\begin{de}[均匀分布定义]
\end{de}

若随机变量 X 有以下概率密度函数,则称 X 服从区间 \([a, b]\) 上的均匀分布,常记为 \(X \sim R(a, b)\)

\begin{equation}
f(x) = \left\{\begin{array}{ll}
               1 ∕ (b-a) , & if \quad \(a ⩽ x ⩽ b\) \\
               0,    & others
              \end{array} \right.
\end{equation}

变量 X 的均匀分布函数 F(x) 见下式

\begin{equation}
F(x) = P(X ⩽ x) = \int_{-∞}^xf(t)dt = \left\{\begin{array}{ll}
                                       0, & if \quad \(x ⩽ a\) \\
                                       (x - a) ∕ (b-a), & if \quad \(a ⩽ x ⩽ b\) \\
                                       1^{}, & if \quad x > b 
                                      \end{array}\right
\end{equation}

多维随机变量(随机向量)

离散型随机向量的分布

\begin{de}[多维离散型随机向量概率函数定义]
\end{de}

\(\lbrace a_{i1}, a_{i2}, \dots \rbrace \)\(X_i\) 的全部可能取值 \((i = 1, 2, \dots)\) , 则事件 \(\lbrace X_1 = a_{1j_1}, X_2 = a_{2j_2}, \dots , X_n = a_{nj_n}\rbrace \) 的概率如下式所示,称为随机向量 \(X = (X_1, X_2, \dots , X_n)\) 的概率函数。

\begin{equation}
\begin{split}
p(j_1, j_2, \dots ,j_n) &= P(X_1 = a_{1j_1}, X_2 = a_{2j_2}, \dots , X_n = a_{}_{nj_n})  \\
&(j_1, j_2, \dots , J_n = 1, 2, \dots)
\end{split}
\end{equation}

概率函数(1)应满足一下条件

  • \(p(j_1, j_2, \dots ,j_n) \geqslant 0 \)
  • \(\sum_{j_n }\sum_{j_2} \dots \sum_{j_1} p(j_1, j_2, \dots ,j_n) = 1\)

多项分布

\begin{de}[多项分布定义]
\end{de}

\(A_1, A_2, \dots , A_n\) 组成一个完备事件群,先对立重复试验 N 次,以 \(X_i\) 记在这 N 次试验中事件 \(A_i\) 事件发生的次数 \((i = 1, \dots , n)\) ,则 \(X = (X_1, X_2, \dots , X_n)\) 为一个 n 维随机向量,它的取值范围是: \(X_1, X_2, \dots , X_n\) 都是非负整数,且其和为 N,X 的概率分布即为多项分布,记为 \(M(N; p_1, p_2, \dots , p_n)\), 概率函数见下式

\begin{equation}
\begin{split}
P(X_1 = k_1_{}, X_2 = k_2&, \dots , X_n = k_n_{}_{}) = \frac{N!}{k_1!k_2! \dots k_n!} p_1^k_1p_2^k_2 \dots p_n^k_n \\
  (k_i ⩾ 0, \quad & k_1 + k_2 + \dots + k_n = N)
\end{split}
\end{equation}

多项分布是最重要的离散性多项分布,当一个总体按照某种属性分成几类时,就会涉及多项分布,如一种疾病可以按照严重程度分级,一种产品可以分成一等、二等、三等品等

连续型随机向量的分布

\begin{de}[多维连续随机向量密度函数定义]
\end{de}

\(X = (X_1, X_2, \dots , X_n)\) 是一个 n 维随机向量,若 \(f(x_1, x_2, \dots , x_n)\) 是定义在 \(\BbbR^n\) 上的非负函数,使对 \(\BbbR^n\) 中的任何几何 A,有下式成立,则称 f 是 X 的(概率)密度函数

\begin{equation}
  P(X \in A) = \underbrace{\int \dots \int}_A f(x_1, x_2, \dots , x_n)dx_1 \dots dx_n
\end{equation}

如果把 A 取成全空间 \(\BbbR^n\) ,则 \(\lbrace X \in A \rbrace \) 是必然事件,其概率为 1,因此有 \[\underbrace{\int \dots \int}_A f(x_1, x_2, \dots , x_n)dx_1 \dots dx_n = 1\]

二维均匀分布

\begin{de}[二维均匀分布定义]
\end{de}

若随机变量 X 有以下概率密度函数,则称 X 服从区间是二维均匀分布

\begin{equation}
f(x_1, x_2) = \left\{\begin{array}{ll}
               1 ∕ (b-a)(d-c) , & if \quad \(a ⩽ x_1 ⩽ b\) \(and\) \(c ⩽ x_2 ⩽ d\) \\
               0,    & others
              \end{array} \right.
\end{equation}

二维正太分布

\begin{de}[二维正态分布定义]
\end{de}

如果一个随机变量具有下式的概率密度函数,称 X 为二维正态随机变量,并记为 \(X \sim N(a, b, σ_1^2, σ_2^2, \rho)\) , \(a, b, σ_1, σ_2\) 是这个分布的参数,其取值范围为: \[- ∞ < a, b < ∞, σ_1 >0, σ_2 >0, -1 < \rho < 1\]

\begin{equation}
f(x_1, x_2) = (2\pi σ_1σ_2\sqrt{1-\rho^2})^{-1} exp\left[-\frac{1}{2(1-\rho^2)} \left( \frac{(x_1 - a)^2}{\sigma_1^2} + \frac{2\rho(x_1 - a)(x_2 - b)}{\sigma_1σ_2} + \frac{(x_2 - b)^2}{\sigma_2^2}\right)\right]
\end{equation}

注意项:(a)连续型随机变量是有密度函数的随机变量;(b)各分量为一维连续型随机变量的随机向量并不一定是连续型随机变量;(c)可用概率分布函数去描述多维随机向量的概率分布

边缘分布

\begin{de}[边缘分布定义]
\end{de}

\(X = (X_1, X_2, \dots , X_n)\) 是一个 n 维随机向量,X 有 n 维分布 F,X 的每一个分量 \(X_i\) 都是一维随机向量,他们各自的分布 \(F_i \quad (i = 1, \dots , n)\) 都是一维分布,称为随机向量 X 或分布 F 的 “边缘分布”

边缘分布完全由原分布确定

离散型随机向量的边缘分布的计算:

  • 分别计算行和和列和,再求
  • 多项分布的边缘分布密度,\(X_n\) 的分布是二项分布 \(B(N, p_n)\)

连续型随机向量的边缘分布:

\begin{equation}
  f_1(x_1) = \int_{-\infty}^\infty \dots \int_{-\infty}^\infty f(x_1, x_2, \dots , x_n) dx_2 \dots dx_n
\end{equation}

二维正态分布 \(X \sim N(a, b, σ_1^2, σ_2^2, \rho)\) 的边缘分布密度是一维正态分布 \(X \sim N(a, σ_1^2)\)\(X \sim N(b, σ_2^2)\)

边缘分布要点:

  • 已知某随机向量的分布可推导其任一分量的(边缘)分布
  • 已知某随机向量的各分量的分布,也推导不出该随机向量的分布,因为边缘分布只考虑随机向量的某一分量的情况,未涉及他们之间的关系,而该关系包含的该随机向量的分布中
  • 边缘分布也可以不只是单个的

条件概率分布与随机变量的独立性

条件概率分布的概念

一般形式:设有两个随机变量(向量)X,Y,在给定了 Y 取某个或某些值的条件下,去求 X 的条件分布

离散型随机变量的条件概率分布

\begin{equation}
P(X_1 = a_i | X_2 = b_j) = p_{ij}\sum_kp_{kj} \quad (i = 1, 2, \dots)
\end{equation}

多项分布 \(M(N; p_1, p_2, \dots , p_n)\)\(X_2 = k_2\) 条件下, \(X_1\) 的条件分布就是二项分布 \(B(N-k_2, p_1(1-p_2))\)

连续型随机变量的条件分布

\begin{equation}
\begin{split}
  P(X_1 ⩽ x_1, a ⩽ X_2 ⩽ b) = \int_{-\infty}^{x_1}dt_1\int_a^bf(t_1, t_2)dt_2\xsol \int_a^bf_2(t_2)dt_2 \\
  f(x_1, x_2) = f_2(x_2)f_1(x_1|x_2) \\
  f(x_1, x_2) = f_1(x_1)f_2(x_2|x_1) \\
  f(x_1, x_2, \dots , x_n) = g(x_1, x_2, \dots , x_k)h(x_{k+1}, \dots , x_n|x_1, \dots , x_k)
\end{split}
\end{equation}

二维正态分布的条件密度

\begin{equation}
f(x_2, x_1) = (2\pi σ_2\sqrt{1-\rho^2})^{-1} exp\left[-\frac{(x_2 - (b + \rho \sigma_2\sigma_1^{-1}(x_1 - a)))}{2(1-\rho^2)σ_2^2}\right]
\end{equation}

这是正太分布 \(N(b + \rho \sigma_2\sigma_1^{-1}(x_1 - a), (1-\rho^2)σ_2^2)\) ,可见正太变量的条件分布仍是正态分布,可以看出 ρ 刻画了 \(X_1, X_2\) 之间的关系

\begin{equation}
  f_1(x_1) = \int_{-\infty}^{\infty}f(x_1, x_2)dx_2 = \int_{-\infty}^{\infty}f(x_1 | x_2)f_2(x_2)dx_2
\end{equation}

随机变量的独立性

\begin{de}[随机变量独立性定义]
\end{de}

n 维随机向量 \(X = (X_1, X_2, \dots , X_n)\) 的联合概率密度函数为 \(f(x_1, \dots , x_n)\) ,而 \(X_i\) 的边缘密度为 \(f_i(x_i) (i = 1, 2, \dots ,n)\) ,如满足下式则称变量 \(X_1, X_2, \dots , X_n\) 相互独立,简称独立

\begin{equation}
f(x_1, x_2, \dots ,x_n) = f_1(x_1)\dots f(x_n)
\end{equation}

\begin{thm}[连续随机变量独立性定理]
\end{thm}

如果连续变量 \(X_1, X_2, \dots , X_n\) 独立,则对任何 \(a_i < b_i\) ,由 \(A_i = \lbrace a_1 ⩽ X_i ⩽ b_i \rbrace , (i = 1, 2, \dots)\) 定义的 n 个事件 \(A_1, \dots ,A_n\) 也独立;反之,若对任何 \(a_i < b_i\) ,事件 \(A_1, \dots ,A_n\) 独立,则变量 \(X_1, X_2, \dots , X_n\) 也独立

\begin{thm}[连续随机变量独立性定理二]
\end{thm}

若连续随机向量 \((X_1, \dots , X_n)\) 的概率密度函数 \(f(x_1, \dots ,x_n)\) 可以表示为 n 个函数 \(g_1, \dots , g_n\) 之积,其中, \(g_i\) 只依赖于 \(x_i\) ,即 \[f(x_1, \dots ,x_n) = g_1(x_1) \dots g_n(x_n)\] ,则称 \((X_1, \dots , X_n)\) 独立,且 \(X_i\) 的边缘密度函数 \(f_i(x_i)\)\(g_i(x_i)\) 只相差一个常数因子

\begin{thm}[连续随机变量独立性定理三]
\end{thm}

若连续随机向量 \((X_1, \dots , X_n)\) 相互独立,而 \[Y_1 = g_1(X_1, \dots ,X_m) , \quad Y_2 = g_2(X_{m+1}, \dots ,X_n)\] ,则 \(Y_1\)\(Y_2\) 独立

\begin{de}[离散型随机变量独立性定义]
\end{de}

\((X_1, \dots , X_n)\) 都是离散随机变量,对任何常数 \(a_1, a_2, \dots, a_n\) 下式都成立,则称 \((X_1, \dots , X_n)\) 独立

\begin{equation}
P(X_1 = a, \dots ,X_n = a_n) = P(X_1 = a_1) \dots P(X_n = a_n)
\end{equation}

连续性随机变量的三条定理适用于离散数学随机变量

随机变量的函数的概率分布

离散型分布的情况

用概率概率思维解决问题:

  • 多项分布: 设 \((X_1, X_2, \dots , X_n)\) 服从多项分布 \(M(N; p_1, \dots , p_n) \quad (n ⩾ 3)\) ,则 \(Y = X_1 + X_2\) 服从二项分布 \(B(N, p_1 + p_2)\) ,可以从公式去计算,也可以从概率角度去理解,多项分布定义 n 个事件 \(A_1, A_2, \dots , A_n\) , \(X_1, X_2, \dots , X_n\) 分别是他们在 N 次试验中发生的次数,先记 \(A = A_1 + A_2\) ,则事件 \(A, A_3, \dots , A_n\) 仍然构成一个万别事件群,其概率分别为 \(p_1 + p_2, p_3, \dots , p_n\) ,记 \(Y = X_1 + X_2\) ,则 \((Y, X_3, \dots , X_n)\) 构成多项分布 \(B(N, p_1 + p_2, p_3, \dots , p_n)\) ,而 Y 成为这个多项分布的一个边缘分布,可得上述结论
  • 二项分布: 设 \(X_1\)\(X_2\) ,分别服从二项分布 \(B(n_1, p)\)\(B(n_2, p)\) ,则 \(Y = X_1 + X_2\) 服从二项分布 \(B(n_1 + p_2, p)\)
  • 波松分布: 设 \(X_1\)\(X_2\) ,分别服从泊松分布 \(P(λ_1)\)\(P(λ_2)\) ,则 \(Y = X_1 + X_2\) 服从泊松分布 \(P(λ_1 + λ_2)\)

连续型分布的情况:一般讨论

\begin{de}[单变量函数的密度函数]
\end{de}

设 X 有密度函数 f(x),\(Y = g(X)\) ,其反函数 \(X = h(Y)\) 存在,且 h 的导数 \(h'\) 存在,则 Y 的密度函数如下式

\begin{equation}
l(y) = f(h(y))|h'(y)|
\end{equation}

\begin{de}[二变量函数的密度函数]
\end{de}

\(X_1, X_2\) 有密度函数 \(f(x_1, x_2)\)\(Y_1, Y_2\) 都是 \(X_1, X_2\) 的函数: \[Y_1 = g_1(X_1, X_2), \quad Y_2 = g_2(X_1, X_2)\] ,其反函数 \[X_1 = h_1(Y_1, Y_2), \quad X_2 = h_2(Y_1, Y_2)\] 存在,又假定 \(g_1, g_2\) 都有一阶连续偏导数, \(h_1, h_2\) 也有连续偏导数,在一一对应变换的情况下,雅可比行列式如下式,则 \((Y_1, Y_2)\) 的密度函数见下式

\begin{equation*}
\symbf{J}(y_1, y_2) = \left|\begin{array}{ll}
               {\partial h_1} \divslash {\partial y_1} & \quad {\partial h_1} \divslash {\partial y_2} \\
               {\partial h_2} \divslash {\partial y_2} & \quad {\partial h_2} \divslash {\partial y_2}
              \end{array} \right|
\end{equation*}

\begin{equation}
l(y_1, y_2) = f(h_1(y_1, y_2), h_2(y_1, y_2))|\symbf{J}(y_1, y_2)|
\end{equation}

\begin{de}[多变量函数的密度函数]
\end{de}

\(X_1, \dots , X_2\) 有密度函数 \(f(x_1, \dots , x_2)\)\(Y_1, Y_2, \dots , Y_n\) 都是 \(X_1, X_2, \dots ,X_n\) 的函数: \[Y_i = g_i(X_1, X_2, \dots, X_n) \quad (i = 1, \dots, n)\] ,其反函数 \[X_i = h_i(Y_1, Y_2, \dots , Y_n) \quad (i = 1, \dots ,n)\] 存在,又假定 \(g_1, g_2, \dots ,g_n\) 都有一阶连续偏导数, \(h_1, h_2, \dots , h_n\) 也有连续偏导数,在一一对应变换的情况下,雅可比行列式如下式,则 \((Y_1, Y_2, \dots , Y_n)\) 的密度函数见下式

\begin{equation*}
\symbf{J}(y_1, y_2, \dots , y_n) = \left|\begin{array}{lll}
                                 {\partial h_1} \divslash {\partial y_1} & \quad \dots & \quad {\partial h_1} \divslash {\partial y_2} \\
                                 \vdots                    & \quad   & \quad ⋮                         \\
                                 {\partial h_2} \divslash {\partial y_2} & \quad \dots & \quad {\partial h_2} \divslash {\partial y_2} \\
                               \end{array} \right|
\end{equation*}

\begin{equation}
l(y_1, y_2, \dots , y_n) = f(h_1(y_1, y_2, \dots ,y_n), \dots , h_n(y_1, y_2, \dots , y_n))|\symbf{J}(y_1, y_2, \dots ,y_n)|
\end{equation}

随机变量和的密度函数

\begin{de}[二维随机变量和密度函数]
\end{de}

\((X_1, X_2)\) 的联合密度函数为 \(f(x_1, x_2)\) , 则 \(Y = X_1 + X_2\) 的密度函数如下式

\begin{equation}
  l(y) = \int_{-\infty}^\infty f(y-x, x)dx = \int_{-\infty}^\infty f(x, y-x)dx
\end{equation}

\(X_1\)\(X_2\) 独立,则

\begin{equation*}
  l(y) = \int_{-\infty}^\infty f_1(y-x)f_2(x)dx = \int_{-\infty}^\infty f_1(x)f_2(y-x)dx
\end{equation*}

\begin{de}[正态分布和密度函数]
\end{de}

\((X_1, X_2)\) 分别服从正太分布 \(N(\mu_1, \sigma_1^2), N(\mu_2, σ_2^2)\) ,则 \(Y = X_1 + X_2\) 服从二维正太分布 \(N(u_1 + \mu_2, σ_1^2 + σ_2^2 + 2\rho\sigma_1\sigma_2)\) , \(Y = X_1 + X_2\) 的密度函数如下式

\begin{equation}
l(y) = \frac{1}{\sqrt{2\pi(σ_1^2 + σ_2^2 + 2\rho\sigma_1\sigma_2)}}exp\left[-\frac{(y-\mu_1 -\mu_2)^2}{2(σ_1^2 + σ_2^2 + 2\rho\sigma_1\sigma_2)}\right]
\end{equation}

由(1)可以看出,若 Y 服从正太分布,则 Y 可以表示成两个随机变量 \(X_1, X_2\) 之和,且 \(X_1, X_2\) 也必须服从正太分布,这个性质称为 “正态分布的再生性” ,显然对多个变量上式仍成立。

两个重要的函数: \(Γ\) 函数\(\Beta\) 函数 公式

\begin{equation}
\Gamma(x) = \int_0^\infty e^{ - t}t^{x - 1}dt \quad (x > 0)
\end{equation}

\begin{equation}
\Beta(x, y) = \int_0^1 t^{x - 1} (1-t)^{y-1} dt \quad (x, y > 0)
\end{equation}

\(Γ\) 函数\(\Beta\) 函数 公式,可以计算出下面结论

\begin{equation}
\begin{split}
& Γ(1) = 1 \\
& Γ(1/2) = \sqrt{\pi} \\
& Γ(n) = (n-1)! \\
& Γ(n/2) = 1*3*5\dots*(n-2)*2^{-(n-1)/2}\sqrt{\pi} \\
& F(x + 1) = x\Gamma(x) \\
& \Beta(x, y) = \Gamma(x)\Gamma(y) \divslash \Gamma(x, y)
\end{split}
\end{equation}

卡方分布

\begin{de}[卡方分布定义]
\end{de}

\(X_1, X_2, \dots , X_n\) 相互独立,都服从正太分布 \(N(0, 1)\) ,则 \(Y = X_1^2 + \dots + X_n^2\) 服从自由度为 n 的卡方分布 \(\chi_n^2\) ,其密度函数见下式

\begin{equation}
k_n (x) = \left\{\begin{array}{ll}
               \frac{1}{Γ(2/n)2^{n/2}}e^{-x/2} x^{(n-2)/2} & \quad if x > 0 \\
               0 & \quad if x ⩽ 0
              \end{array} \right
\end{equation}

上式(1)称为自由度为 n 的皮尔逊卡方密度,相应的分布称为卡方分布

卡方分布的性质:

  • \(X_1, X_2\) 独立, \(X_1 \sim \chi_m^2, \, X_2 \sim \chi_n^2\) ,则 \(X_1 + X_2 \sim \chi_{m+n}^2\)
  • \(X_1, \dots , X_n\) 独立,且都服从指数分布(1) ,则 \[X = 2λ(X_1 + X_2 + \dots + X_n) \sim \chi_{2n}^n\]

随机变量商的密度函数

\begin{de}[随机变量商密度函数]
\end{de}

\((X_1, X_2)\) 的联合密度函数为 \(f(x_1, x_2)\) , 则 \(Y = X_2/X_1\) 的密度函数如下式

\begin{equation}
  l(y) = \int_0^\infty x_1f(x_1, x_1y)dx_1
\end{equation}

\(X_1\)\(X_2\) 独立,则

\begin{equation*}
  l(y) = \int_0^\infty x_1f_1(x_1)f_2(x_1y)dx_1
\end{equation*}

t 分布

\begin{de}[t 分布定义]
\end{de}

\(X_1, X_2\) 独立,都服从分布 \(X_1 \sim \chi_n^2, \, X_2 \sim N(0, 1)\) ,则 \(Y = X_2 ∕ \sqrt{X_1/n}\) 服从自由度为 n 的 t 分布 \(t_n, \quad Y \sim t_n\) ,其密度函数见下式

\begin{equation}
  t_n (y) =  \frac{Γ(n + 1)/2}{Γ(n/2)\sqrt{2\pi{}}}\left( 1 + \frac{y^2}{n} \right)^{-\frac{(n+1}{2}}\Gamma\left(\frac{(n+1)}{2} \right)
\end{equation}

当自由度 n 很大时,t 分布接近于正态分布

F 分布

\begin{de}[F 分布定义]
\end{de}

\(X_1, X_2\) 独立,都服从卡方分布 \(X_1 \sim \chi_n^2, \, X_2 \sim \chi_m^2\) ,则 \(Y = m^{-1}X_2 ∕ (n^{-1}X_1)\) 服从自由度为 \(m, n\) 的 F 分布 \(Y \sim F_{mn}\) ,其密度函数见下式

\begin{equation}
  f_{mn}(y) =  m^{m/2}n^{n/2} \frac{Γ((m + n)/2)}{Γ(m/2)Γ(n/2)} y^{m/2-1} (my + n)^{-(m+n)/2} 
\end{equation}

统计上的三大分布应用性质

  • \(X_1, \dots , X_n\) 独立同分布,有公共的正态分布 \(N(\mu, σ^2)\) ,记 \(\overbar{X} = (X_1 + \dots + X_n)/n, \, S^2 = \sum_{i=1}^n (X_i - \overbar{X})^2/(n-1)\) ,则 \[(n-1)S^2 ∕σ^2 = \sum_{i=1}^n (X_i - \overbar{X})^2 ∕σ^2 \sim \chi_{n-1}^2\]
  • \(X_1, \dots , X_n\) 假定同上,则 \[\sqrt{n}(\overbar{X} - \mu) ∕S \sim t_{n-1}\]
  • \(X_1, \dots , X_n\) , \(Y_1, \dots , Y_m\) 独立,\(X_i\) 有公共的正态分布 \(N(\mu_1, σ_1^2)\) , \(Y_i\) 有公共的正态分布 \(N(\mu_2, σ_2^2)\) ,则 \[ \left[\sum_{j=1}^n (Y_j - \overbar{Y})^2 ∕(σ_2^2(m-1))\right] \xsol \left[\sum_{i=1}^n (X_i - \overbar{X})^2 ∕(σ_1^2(n-1))\right] \sim F_{m-1, n-1} \]\(σ_1^2 = σ_2^2\)\(N(\mu_2, σ_2^2)\) ,则 \[\left\sqrt{\frac{nm(n+m-2)}{n+m}}[(\overbar{X} \minus \overbar{Y}) - (\mu_1 \minus \mu_2)] ∕\left[\sum_{i=1}^n (X_i - \overbar{X})^2 \minus \sum_{j=1}^n (Y_j - \overbar{Y})^2\right] \sim t_{n+m-2} \]

例题

Creative Commons licensing

TITLE: 概率论与数理统计-随机变量及其概率分布
AUTHOR: lengyueyang
DATE: 2017-05-29 19:26:52 UTC+08:00
UPDATED:
LICENSE: The blog is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License, commercial use is not allowed, for any reprint, please indicate address and signature. 88x31.png

Comments

Comments powered by Disqus