ぎるばーとのノート

もっともっと遠くへ行きたい　空が広く見える場所まで

条件付き分布 - 確率分布チートシート

数学・統計学

自サイト（HTML版）からの転載です。

条件付き分布
周辺分布
合成分布（無条件分布）

条件付き分布

★は条件付き分布も同じ種類の分布となることを表す。

指数分布

$X$ が $\text{Exp}(\lambda)$ にしたがうとき、 $t$ を非負の実数として、 $(X - t \mid X \geq t)$ は $\text{Exp}(\lambda)$ にしたがう。〔無記憶性★〕¹
無記憶性は $\text{P}(X \gt s + t \mid X \gt t) = \text{P}(X \gt s)$ のように表される。（条件が $X \gt t$ でも $X \geq t$ でも実質的な違いはない。）この性質は、ある出来事が起こるまでにかかる時間の分布が時間経過によって変化しないことを意味する。

一様分布

$X$ が $\text{U}(a,\ b)$ にしたがうとき、 $a', b'$ を実数（ $a \leq a' \lt b' \leq b$ を満たす）として、 $(X \mid a' \leq X \leq b')$ は $\text{U}(a',\ b')$ にしたがう。〔値を制限★〕^証明

パレート分布

$X$ が $\text{Pareto}(x_\mathrm{m},\ \alpha)$ にしたがうとき、 $s$ を実数（ $s \geq x_\mathrm{m}$ を満たす）として、 $(X \mid X \geq s)$ は $\text{Pareto}(x_\mathrm{m} = s,\ \alpha)$ にしたがう。〔値を制限★〕^証明

二項分布

$X$ が $\text{B}(n_X,\ p)$ に、 $Y$ が $\text{B}(n_Y,\ p)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{Hyper}(n = w,\ N = n_X + n_Y,\ K = n_X)$ にしたがう。〔和を固定〕^証明
$X_1, \ldots, X_n$ がそれぞれ $\text{B}(n_i,\ p)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{Hyper}(n = w,\ N = n_1 + \cdots + n_n,\ \boldsymbol{K} = (n_1, \ldots, n_n))$ にしたがう。〔総和を固定〕^証明

ポアソン分布

$X$ が $\text{Poisson}(\lambda_X)$ に、 $Y$ が $\text{Poisson}(\lambda_Y)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{B}\!\left(n = w,\ p = \frac{\lambda_X}{\lambda_X + \lambda_Y}\right)$ にしたがう。〔和を固定〕^証明
$X_1, \ldots, X_n$ がそれぞれ $\text{Poisson}(\lambda_i)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{Mult}\!\left(n = w,\ \boldsymbol{p} = \left(\frac{\lambda_1}{\lambda_1 + \cdots + \lambda_n}, \ldots, \frac{\lambda_n}{\lambda_1 + \cdots + \lambda_n}\right)\right)$ にしたがう。〔総和を固定〕^証明

負の二項分布

$X$ が $\text{NB}(r_X,\ p)$ に、 $Y$ が $\text{NB}(r_Y,\ p)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{BetaBin}(n = w,\ \alpha = r_X,\ \beta = r_Y)$ にしたがう。※ $\text{BetaBin}(n,\ \alpha,\ \beta)$ はベータ二項分布を表す。〔和を固定〕^証明
$X_1, \ldots, X_n$ がそれぞれ $\text{NB}(r_i,\ p)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{DirichletMult}(n = w,\ \boldsymbol{\alpha} = (r_1, \ldots, r_n))$ にしたがう。※ $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ はディリクレ多項分布を表す。〔総和を固定〕^証明

幾何分布

$X, Y$ が同一の $\text{Geom}(p)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{DiscreteUnif}(0,\ b = w)$ にしたがう。※ $\text{DiscreteUnif}(a,\ b)$ は離散一様分布を表す。〔和を固定〕^証明
$X_1, \ldots, X_n$ が同一の $\text{Geom}(p)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{DirichletMult}(n = w,\ \boldsymbol{\alpha} = (1, \ldots, 1))$ にしたがう。※ $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ はディリクレ多項分布を表す。〔総和を固定〕^証明
$X$ が $\text{Geom}(p)$ にしたがうとき、 $n$ を非負の整数として、 $(X - n \mid X \geq n)$ は $\text{Geom}(p)$ にしたがう。〔無記憶性★〕¹
離散確率分布の無記憶性は $\text{P}(X \gt m + n \mid X \geq n) = \text{P}(X \gt m)$ または $\text{P}(X \gt m + n \mid X \gt n) = \text{P}(X \gt m)$ のように表される。この性質は、試行が初めて成功するまでの失敗回数（試行回数）の分布が履歴によって変化しないことを意味する。「失敗回数を数える」幾何分布は条件 $X \geq n$ の無記憶性を満たす。
$X$ が $\text{Geom}_\text{[number-of-trials]}(p)$ にしたがうとき、 $n$ を非負の整数として、 $(X - n \mid X \gt n)$ は $\text{Geom}_\text{[number-of-trials]}(p)$ にしたがう。〔無記憶性（試行回数）★〕^証明
「試行回数を数える」幾何分布は条件 $X \gt n$ の無記憶性を満たす。

多変量正規分布

多変量正規分布で成分を部分的に固定した条件付き分布は多変量正規分布になる。 $\boldsymbol{X} = (X_1, \ldots, X_l, \ldots, X_m)$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $\boldsymbol{X}_1 = (X_1, \ldots, X_l),\ \boldsymbol{X}_2 = (X_{l + 1}, \ldots, X_m)$ とすると、 $(\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = \boldsymbol{x}_2)$ は $\text{N}(\boldsymbol{\mu}_{1 \mid 2},\ \boldsymbol{\Sigma}_{1 \mid 2})$ にしたがう。

条件付き分布の平均: $\boldsymbol{\mu}_{1 \mid 2} = \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12}\,{\boldsymbol{\Sigma}_{22}}^{-1}\,(\boldsymbol{x}_2 - \boldsymbol{\mu}_2)$
条件付き分布の共分散行列: $\boldsymbol{\Sigma}_{1 \mid 2} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12}\,{\boldsymbol{\Sigma}_{22}}^{-1}\,\boldsymbol{\Sigma}_{21}$

ただし、 $\boldsymbol{\mu}_1 = (\mu_1, \ldots, \mu_l),\ \boldsymbol{\mu}_2 = (\mu_{l + 1}, \ldots, \mu_m)$ であり、 $\boldsymbol{\Sigma}_{11}, \boldsymbol{\Sigma}_{12}, \boldsymbol{\Sigma}_{21}, \boldsymbol{\Sigma}_{22}$ は $\boldsymbol{\Sigma}$ を $\left[\begin{smallmatrix}\boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22}\end{smallmatrix}\right]$ のように区分けしたブロック行列を表す。〔成分を固定★〕²
変換§多変量正規分布#成分の並べ替えによって任意の成分を固定する場合に一般化できる。

多項分布

多項分布で成分を部分的に固定した条件付き分布は多項分布になる。 $\boldsymbol{X} = (X_1, \ldots, X_l, \ldots, X_m)$ が $\text{Mult}(n,\ \boldsymbol{p})$ にしたがうとき、 $\boldsymbol{X}_1 = (X_1, \ldots, X_l),\ \boldsymbol{X}_2 = (X_{l + 1}, \ldots, X_m)$ とすると、 $(\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = (k_{l + 1}, \ldots, k_m))$ は $\text{Mult}\!\left(n - (k_{l + 1} + \cdots + k_m),\ \frac{\boldsymbol{p}_1}{1 - (p_{l + 1} + \cdots + p_m)}\right)$ にしたがう。ただし、 $\boldsymbol{p}_1 = (p_1, \ldots, p_l)$ である。〔成分を固定★〕³
変換§多項分布#成分の並べ替えによって任意の成分を固定する場合に一般化できる。

多変量超幾何分布

多変量超幾何分布で成分を部分的に固定した条件付き分布は多変量超幾何分布になる。 $\boldsymbol{X} = (X_1, \ldots, X_l, \ldots, X_m)$ が $\text{Hyper}(n,\ N,\ \boldsymbol{K})$ にしたがうとき、 $\boldsymbol{X}_1 = (X_1, \ldots, X_l),\ \boldsymbol{X}_2 = (X_{l + 1}, \ldots, X_m)$ とすると、 $(\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = (k_{l + 1}, \ldots, k_m))$ は $\text{Hyper}(n - (k_{l + 1} + \cdots + k_m),\ N - (K_{l + 1} + \cdots + K_m),\ \boldsymbol{K}_1)$ にしたがう。ただし、 $\boldsymbol{K}_1 = (K_1, \ldots, K_l)$ である。〔成分を固定★〕⁴
変換§多変量超幾何分布#成分の並べ替えによって任意の成分を固定する場合に一般化できる。

周辺分布

多変量正規分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $X_i$ は $\text{N}(\mu_i,\ {\sigma_i}^2)$ にしたがう。〔周辺分布〕⁵
多変量正規分布の多次元周辺分布は多変量正規分布である。たとえば $X_m$ を消去した $(X_1, \ldots, X_{m - 1})$ は、 $\boldsymbol{\mu}$ から $\mu_m$ を取り除いたものを $\boldsymbol{\mu}'$ 、 $\boldsymbol{\Sigma}$ から $m$ 行目・ $m$ 列目を取り除いたものを $\boldsymbol{\Sigma}'$ で表すと、 $\text{N}(\boldsymbol{\mu}',\ \boldsymbol{\Sigma}')$ にしたがう。一般の場合も、消去する成分の添字の集合を $A$ で表すと、 $\boldsymbol{\mu}$ から $A$ に属する添字の成分を、 $\boldsymbol{\Sigma}$ から $A$ に属する添字の行・列を取り除けばよい。〔多次元周辺分布★〕⁵

ディリクレ分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、 $X_i$ は $\text{Beta}(\alpha_i,\ \alpha_1 + \cdots + \alpha_m - \alpha_i)$ にしたがう。〔周辺分布〕^証明
ディリクレ分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布はディリクレ分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Dirichlet}(\boldsymbol{\alpha} = (\alpha_{Y_1}, \ldots, \alpha_{Y_l}))$ にしたがう。ただし、 $\alpha_{Y_j} = \sum_{i \in A_j} \alpha_i$ である。〔グループ化★〕^証明

多項分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Mult}(n,\ \boldsymbol{p})$ にしたがうとき、 $X_i$ は $\text{B}(n,\ p_i)$ にしたがう。〔周辺分布〕³
多項分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布は多項分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Mult}(n,\ \boldsymbol{p} = (p_{Y_1}, \ldots, p_{Y_l}))$ にしたがう。ただし、 $p_{Y_j} = \sum_{i \in A_j} p_i$ である。〔グループ化★〕³

カテゴリ分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Cat}(\boldsymbol{p})$ にしたがうとき、 $X_i$ は $\text{Bernoulli}(p_i)$ にしたがう。〔周辺分布〕³
カテゴリ分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布はカテゴリ分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Cat}(\boldsymbol{p} = (p_{Y_1}, \ldots, p_{Y_l}))$ にしたがう。ただし、 $p_{Y_j} = \sum_{i \in A_j} p_i$ である。〔グループ化★〕³

多変量超幾何分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Hyper}(n,\ N,\ \boldsymbol{K})$ にしたがうとき、 $X_i$ は $\text{Hyper}(n,\ N,\ K_i)$ にしたがう。〔周辺分布〕⁴
多変量超幾何分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布は多変量超幾何分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Hyper}(n,\ N,\ \boldsymbol{K} = (K_{Y_1}, \ldots, K_{Y_l}))$ にしたがう。ただし、 $K_{Y_j} = \sum_{i \in A_j} K_i$ である。〔グループ化★〕⁴

合成分布（無条件分布）

★は合成分布（無条件分布）も同じ種類の分布となることを表す。

正規分布

$(X \mid \mu)$ が $\text{N}(\mu,\ \sigma^2)$ に、 $\mu$ が $\text{N}(\mu_\mu,\ {\sigma_\mu}^2)$ にしたがうとき、条件なしの $X$ は $\text{N}(\mu_\mu,\ \sigma^2 + {\sigma_\mu}^2)$ にしたがう。〔正規分布合成★〕⁶
$(X \mid \sigma^2)$ が $\text{N}(0,\ \sigma^2)$ に、 $\sigma^2$ が $\chi^{-2}(\nu)$ にしたがうとき、条件なしの $X$ は $\frac{1}{\sqrt{\nu}}$ 倍された $t(\nu)$ にしたがう。※ $\chi^{-2}(\nu)$ は逆カイ2乗分布を表す。〔逆カイ2乗分布合成〕⁷
$\sigma^2$ が $\chi^{-2}(\nu)$ にしたがうの部分は、 $\tau = \frac{1}{\sigma^2}$ が $\chi^2(\nu)$ にしたがうと言い換えても同じである。

二項分布

$(X \mid n)$ が $\text{B}(n,\ p)$ に、 $n$ が $\text{B}(n_n,\ p_n)$ にしたがうとき、条件なしの $X$ は $\text{B}(n_n,\ pp_n)$ にしたがう。〔二項分布合成★〕⁶
$(X \mid n)$ が $\text{B}(n,\ p)$ に、 $n$ が $\text{Poisson}(\lambda_n)$ にしたがうとき、条件なしの $X$ は $\text{Poisson}(p\lambda_n)$ にしたがう。〔ポアソン分布合成〕⁶
$(X \mid n)$ が $\text{B}(n,\ p)$ に、 $n$ が $\text{NB}(r_n,\ p_n)$ にしたがうとき、条件なしの $X$ は $\text{NB}\!\left(r_n,\ \frac{p_n}{p + p_n - pp_n}\right)$ にしたがう。〔負の二項分布合成〕⁶
$(X \mid p)$ が $\text{B}(n,\ p)$ に、 $p$ が $\text{U}(0,\ 1)$ にしたがうとき、条件なしの $X$ は $\text{DiscreteUnif}(0,\ b = n)$ にしたがう。※ $\text{DiscreteUnif}(a,\ b)$ は離散一様分布を表す。〔標準一様分布合成〕¹
$(X \mid p)$ が $\text{B}(n,\ p)$ に、 $p$ が $\text{Beta}(\alpha,\ \beta)$ にしたがうとき、条件なしの $X$ は $\text{BetaBin}(n,\ \alpha,\ \beta)$ にしたがう。※ $\text{BetaBin}(n,\ \alpha,\ \beta)$ はベータ二項分布を表す。〔ベータ分布合成〕¹

ベルヌーイ分布

$(X \mid p)$ が $\text{Bernoulli}(p)$ に、 $p$ が $\text{Beta}(\alpha,\ \beta)$ にしたがうとき、条件なしの $X$ は $\text{Bernoulli}\!\left(p = \frac{\alpha}{\alpha + \beta}\right)$ にしたがう。〔ベータ分布合成★〕^証明

ポアソン分布

$(X \mid \lambda)$ が $\text{Poisson}(\lambda)$ に、 $\lambda$ が $\text{Exp}(\lambda)$ にしたがうとき、条件なしの $X$ は $\text{Geom}\!\left(p = \frac{\lambda}{1 + \lambda}\right)$ にしたがう。〔指数分布合成〕⁸
$(X \mid \lambda)$ が $\text{Poisson}(\lambda)$ に、 $\lambda$ が $\text{Gamma}(\alpha,\ \beta)$ にしたがうとき、条件なしの $X$ は $\text{NB}\!\left(r = \alpha,\ p = \frac{\beta}{1 + \beta}\right)$ にしたがう。〔ガンマ分布合成〕⁸

多項分布

$(\boldsymbol{X} \mid \boldsymbol{p})$ が $\text{Mult}(n,\ \boldsymbol{p})$ に、 $\boldsymbol{p}$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、条件なしの $\boldsymbol{X}$ は $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ にしたがう。※ $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ はディリクレ多項分布を表す。〔ディリクレ分布合成〕⁹

カテゴリ分布

$(\boldsymbol{X} \mid \boldsymbol{p})$ が $\text{Cat}(\boldsymbol{p})$ に、 $\boldsymbol{p}$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、条件なしの $\boldsymbol{X}$ は $\text{Cat}\!\left(\boldsymbol{p} = \frac{\boldsymbol{\alpha}}{\alpha_1 + \cdots + \alpha_m}\right)$ にしたがう。〔ディリクレ分布合成★〕^証明

Leemis and McQueston. Univariate Distribution Relationships.
Joram Soch. "Conditional distributions of the multivariate normal distribution". The Book of Statistical Proofs.
Kyle Siegrist. "The Multinomial Distribution". Random.
Kyle Siegrist. "The Multivariate Hypergeometric Distribution". Random.
Joram Soch. "Marginal distributions of the multivariate normal distribution". The Book of Statistical Proofs.
Villa and Escobar. Using Moment Generating Functions to Derive Mixture Distributions.
John D. Cook. "Student-t as a mixture of normals" (PDF).
〈注意〉証明に現れる逆ガンマ分布をスケーリングしたものが逆カイ2乗分布にあたる。
John D. Cook. "Notes on the negative binomial distribution" (PDF).
〈注意〉文書中、ガンマ分布の $\beta$ をスケールパラメータ（このチートシートでの $\beta$ の逆数）としている。
Thomas P. Minka. "Estimating a Dirichlet distribution" (PDF).