2024-03-21

円周・球面上の一様分布

自サイト（HTML版）からの転載です。

球と球体
円周・球面上の一様分布
球体内の一様分布
成分の平方和
周辺分布
球対称性

球と球体

$n - 1$ 次元球とは、 $\mathbf{R}^n$ 空間で中心点からのユークリッド距離が等しい点の集合である。1次元球は円、2次元球は普通の球である。内側の領域を含まないことを強調して、円を円周、球を球面とも呼ぶ。対して、 $n - 1$ 次元球によって囲まれる領域を $n$ 次元球体という。

$\mathbf{R}^n$ 空間における球と球体
$n$	$n - 1$ 次元球 $(n - 1)$ -sphere		$n$ 次元球体 $n$ -ball
1	0次元球 0-sphere	点のペア pair of points	1次元球体 1-ball	線分 line segment
2	1次元球 1-sphere	円 circle	2次元球体 2-ball	円板 disk / disc
3	2次元球 2-sphere	球（狭義） sphere	3次元球体 3-ball	球体（狭義） ball
4	3次元球 3-sphere	超球 hypersphere	4次元球体 4-ball	超球体 hyperball
︙	︙	超球 hypersphere	︙	超球体 hyperball

円周・球面上の一様分布

円周・球面上の一様分布は、あらゆる方向の実現確率が等しい円周・球面上の確率分布である。分布が一様とは、部分領域に対する確率が領域の位置に無関係で、その大きさに比例することを表す。
円周上の一様分布の偏角についての確率密度関数は以下の式で表される。
- $f_\varTheta(\theta) = \frac{1}{2\pi}$
  単位円の弧の長さ $l = \theta$ より、積分値（確率）は円周上の長さに比例する。
球面上の一様分布の角座標（極角と方位角）についての確率密度関数は以下の式で表される。
- $f_{\varTheta, \varPhi}(\theta, \varphi) = \frac{\sin \theta}{4\pi}$
  単位球の面積要素 $dS = \sin \theta\,d\theta\,d\varphi$ より、積分値（確率）は球面上の面積に比例する。

球体内の一様分布

$U$ が $\text{U}(0,\ 1)$ に、 $\boldsymbol{X}$ が $m - 1$ 次元の単位球面上の一様分布に独立にしたがうとき、 $U^{1/m}\,\boldsymbol{X}$ は $m$ 次元の単位球体内の一様分布にしたがう。〔球体内の一様分布〕¹
なお、 $U^{1/m}$ は $\text{Beta}(\alpha = m,\ 1)$ にしたがう。

成分の平方和

が次元の単位球面上の一様分布にしたがうとき、
- ${X_1}^2 + \cdots + {X_m}^2 = 1$ がつねに成り立つ。〔成分の平方和（完全）〕
- ${X_1}^2 + \cdots + {X_l}^2$ は $\text{Beta}\!\left(\alpha = \frac{l}{2},\ \beta = \frac{m - l}{2}\right)$ にしたがう。〔成分の平方和（不完全）〕¹

周辺分布

が次元の単位球面上の一様分布にしたがうとき、はベータ型の分布にしたがう。〔周辺分布〕^証明
- $X_i$ は $\text{Beta}\!\left(\alpha = \frac{m - 1}{2},\ \beta = \frac{m - 1}{2},\ {-1},\ 1\right)$ にしたがう。※ $\text{Beta}(\alpha,\ \beta,\ a,\ b)$ は $[a, b]$ 上のベータ分布を表す。
- 言い換えれば、 $\frac{X_i + 1}{2}$ は $\text{Beta}\!\left(\alpha = \frac{m - 1}{2},\ \beta = \frac{m - 1}{2}\right)$ にしたがう。
$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $m - 1$ 次元の単位球面上の一様分布にしたがうとき、 $(X_1, \ldots, X_{m - 2})$ は $m - 2$ 次元の単位球体内の一様分布にしたがう。〔成分消去法〕²

$\mathbf{R}^n$ 空間における各種一様分布の周辺分布
台集合	単位立方体 unit cube	単位球体 unit ball	単位球 unit sphere	標準単体 standard simplex
備考	a	－	－	b
（成分）	$x_i \in [0, 1]$	$x_i \in [-1, 1]$	$x_i \in [-1, 1]$	$x_i \in [0, 1]$
（制約）	－	$\sum_i {x_i}^2 \leq 1$	$\sum_i {x_i}^2 = 1$	$\sum_i x_i = 1$
（次元）	$n$	$n$	$n - 1$	$n - 1$
周辺分布	$\text{U}(0,\ 1)$	ベータ型	ベータ型	$\text{Beta}(1,\ \beta = n - 1)$
（極限）	$\text{U}(0,\ 1)$	正規分布^c	正規分布^c	指数分布^d

$X_1, \ldots, X_n$ が $\text{U}(0,\ 1)$ に独立にしたがう。
$\boldsymbol{X}$ が $\text{Dirichlet}(\boldsymbol{\alpha} = (1, \ldots, 1))$ にしたがう。
ベータ分布（対称）の正規近似より。
ベータ分布のガンマ近似より。

球対称性

$\boldsymbol{X}$ が $\mathbf{R}^m$ 空間で球対称な分布にしたがうとき、 $\lVert\boldsymbol{X}\rVert$ を $\boldsymbol{X}$ のユークリッド長さとすると、 $\frac{\boldsymbol{X}}{\lVert\boldsymbol{X}\rVert}$ は単位球面上の一様分布にしたがう。〔正規化〕
$\boldsymbol{X} = (X_1, \ldots, X_m)$ が球対称な分布にしたがうとき、 $\frac{X_i}{X_j}$ （ただし、 $i \neq j$ ）は $\text{Cauchy}(0,\ 1)$ にしたがう。〔成分の比〕³
独立な標準正規確率変数の比は、 $\text{N}(\mathbf{0},\ \mathbf{I}_2)$ が円対称なことから、この特別な場合にあたる。

Harman and Lacko On decompositional algorithms for uniform sampling from n-spheres and n-balls.
Voelker et al. Efficiently sampling vectors and coordinates from the n-sphere and n-ball.
Arnold and Brockett. On Distributions Whose Component Ratios Are Cauchy.

2024-03-21

ランダム方向ベクトル

数学・統計学

自サイト（HTML版）からの転載です。

座標変換
棄却サンプリング・正規化
正規乱数ベクトルを正規化
- 3次元ベクトルの場合
方法の選択基準
- 平面または3次元
- 4次元以上

　ランダムな方向のベクトルを生成する方法とコード例です。
　以下のページの情報を参考に作成しました。

座標変換

一様乱数の組から変換してランダムな方向の平面ベクトル・3次元ベクトルを得ることができる。

平面ベクトルの場合

　平面ベクトルの場合、偏角 $\theta$ を一様乱数で選んで直交座標に変換する。
\begin{align}
\begin{bmatrix}
X \\
Y
\end{bmatrix} = \begin{bmatrix}
\cos \varTheta \\
\sin \varTheta
\end{bmatrix}
\end{align}

/* theta ~ U(-pi, pi) */
let theta = Math.PI * (2.0 * Math.random() - 1.0);
let x = Math.cos(theta);
let y = Math.sin(theta);

3次元ベクトルの場合

　3次元ベクトルの場合には、意外なことに周辺分布が一様分布である。そこで、z成分と方位角 $\varphi$ を一様乱数で選んで、z成分を固定したときのベクトルのxy平面への正射影の長さが $\sqrt{1 - Z^2}$ と表されることから、次のように変換する。
\begin{align}
\begin{bmatrix}
X \\
Y \\
Z
\end{bmatrix} = \begin{bmatrix}
\sqrt{1 - Z^2} \cos \varPhi \\
\sqrt{1 - Z^2} \sin \varPhi \\
Z
\end{bmatrix}
\end{align}

/* z ~ U(-1, 1) */
/* phi ~ U(-pi, pi) */
let z = 2.0 * Math.random() - 1.0;
let phi = Math.PI * (2.0 * Math.random() - 1.0);
let x = Math.sqrt(1.0 - z * z) * Math.cos(phi);
let y = Math.sqrt(1.0 - z * z) * Math.sin(phi);

　下図のようにどの方向のベクトルも偏りなく実現する。

ランダム方向ベクトル

落とし穴：極角と方位角をランダムに選ぶと…

　次のよくない例では、極角 $\theta$ と方位角 $\varphi$ を一様乱数で選んで直交座標に変換している。

/* BAD EXAMPLE! */
/* theta ~ U(0, pi) */
/* phi ~ U(-pi, pi) */
let theta = Math.PI * Math.random();
let phi = Math.PI * (2.0 * Math.random() - 1.0);
let x = Math.sin(theta) * Math.cos(phi);
let y = Math.sin(theta) * Math.sin(phi);
let z = Math.cos(theta);

　下図のように(0, 0, 1)と(0, 0, −1)に近い方向のベクトルに偏ってしまう。

ランダム方向ベクトル（失敗例1）

棄却サンプリング・正規化

一様乱数の組をもとに、棄却サンプリングで単位円板・球体内の一様乱数を抜き出し、これを原点からの距離で割って正規化するとランダムな方向のベクトルになる。

平面ベクトルの場合

　平面ベクトルの場合、棄却サンプリングで単位円板内の一様乱数を作り、第二段階で正規化する。

/* (u, v) ~ U_[unit-disk] */
let u, v, rr;
do {
    u = 2.0 * Math.random() - 1.0;
    v = 2.0 * Math.random() - 1.0;
    rr = u * u + v * v;
} while (rr >= 1.0 || rr == 0.0);

let s = 1.0 / Math.sqrt(rr);
let x = s * u;
let y = s * v;

3次元ベクトルの場合

　3次元ベクトルの場合も平面ベクトルの場合と同様である。

/* (u, v, w) ~ U_[unit-ball] */
let u, v, w, rr;
do {
    u = 2.0 * Math.random() - 1.0;
    v = 2.0 * Math.random() - 1.0;
    w = 2.0 * Math.random() - 1.0;
    rr = u * u + v * v + w * w;
} while (rr >= 1.0 || rr == 0.0);

let s = 1.0 / Math.sqrt(rr);
let x = s * u;
let y = s * v;
let z = s * w;

落とし穴：棄却を省略すると…

　次のよくない例では、棄却を省略して立方体内の一様乱数をそのまま正規化している。

/* BAD EXAMPLE! */
/* u ~ U(-1, 1) */
/* v ~ U(-1, 1) */
/* w ~ U(-1, 1) */
let u = 2.0 * Math.random() - 1.0;
let v = 2.0 * Math.random() - 1.0;
let w = 2.0 * Math.random() - 1.0;
let s = 1.0 / Math.sqrt(u * u + v * v + w * w);
let x = s * u;
let y = s * v;
let z = s * w;

　下図のように立方体の頂点に近い方向のベクトルに偏ってしまう。

ランダム方向ベクトル（失敗例2）

落とし穴：次元が高くなると…

　棄却・正規化法では次元の呪いが発生する。 $n$ 次元での採択率は $\frac{\pi^{n/2}}{\Gamma(n/2 + 1)} \cdot \frac{1}{2^n}$ となり^1,2急速に悪化する。繰り返しの期待回数（採択率の逆数）は、平面の場合に約1.3回、4次元で約3.2回、8次元で約63回、16次元では約28万回（非実用的）となる。

採択率

正規乱数ベクトルを正規化

標準多変量正規乱数を原点からの距離で割って正規化するとランダムな方向のベクトルになる。
この方法は次元の呪いの問題がなく、 $n$ 次元ベクトルの計算量は線形にしか増えない。

3次元ベクトルの場合

　3次元ベクトルの場合、標準3変量正規乱数を正規化する。次の例では、零ベクトル（ごく低確率）を除外して正規化している。

/* (u, v, w) ~ N(0, I_3) */
let u, v, w, rr;
do {
    u = rnorm(0.0, 1.0);
    v = rnorm(0.0, 1.0);
    w = rnorm(0.0, 1.0);
    rr = u * u + v * v + w * w;
} while (rr == 0.0);

let s = 1.0 / Math.sqrt(rr);
let x = s * u;
let y = s * v;
let z = s * w;

方法の選択基準

ランダムさの品質はどの方法でも大差ない。
生成速度の面では、次元がどの程度かによって効率的な方法が変わる。大まかには以下のようになる。

平面または3次元

　座標変換法と棄却・正規化法が効率的。どちらが速いかは、三角関数のパフォーマンスと乱数生成のパフォーマンスの兼ね合いによる。正規乱数法はオーバーヘッドが大きい。

4次元以上

　正規乱数法が効率的。ただし、5次元程度までなら棄却・正規化法も選択肢に入る。（特に正規乱数生成が低速な場合。）

2023-01-16

表記とパラメータ化 - 確率分布チートシート

数学・統計学

自サイト（HTML版）からの転載です。

正規分布Normal Distribution
対数正規分布Lognormal Distribution
カイ2乗分布Chi-Squared Distribution
t分布Student's t-Distribution
F分布F-Distribution
指数分布Exponential Distribution
ガンマ分布Gamma Distribution
一様分布Uniform Distribution
ベータ分布Beta Distribution
コーシー分布Cauchy Distribution
パレート分布Pareto Distribution
二項分布Binomial Distribution
ベルヌーイ分布Bernoulli Distribution
ポアソン分布Poisson Distribution
負の二項分布Negative Binomial Distribution
幾何分布Geometric Distribution
超幾何分布Hypergeometric Distribution
多変量正規分布Multivariate Normal Distribution
ディリクレ分布Dirichlet Distribution
多項分布Multinomial Distribution
カテゴリ分布Categorical Distribution
多変量超幾何分布Multivariate Hypergeometric Distribution

正規分布
Normal Distribution

表記	$\text{N}(\mu,\ \sigma^2)$
実現値	$x \in \mathbf{R}$
パラメータ	平均 $\mu \in \mathbf{R}$ 分散 $\sigma^2 \in (0, +\infty)$	平均 $\mu \in \mathbf{R}$ 標準偏差 $\sigma \in (0, +\infty)$	平均 $\mu \in \mathbf{R}$ 精度 $\tau \in (0, +\infty)$
（変換）	－	$\sigma = \sqrt{\sigma^2}$	$\tau = \frac{1}{\sigma^2}$

対数正規分布
Lognormal Distribution

表記	$\text{Lognorm}(\mu,\ \sigma^2)$
実現値	$x \in (0, +\infty)$
パラメータ	対数の平均 $\mu \in \mathbf{R}$ 対数の分散 $\sigma^2 \in (0, +\infty)$

カイ2乗分布
Chi-Squared Distribution

表記	$\chi^2(\nu)$
実現値	$x \in [0, +\infty)$
パラメータ	自由度 $\nu \in \{1, 2, \ldots\}$

t分布
Student's t-Distribution

表記	$t(\nu)$
実現値	$x \in \mathbf{R}$
パラメータ	自由度 $\nu \in \{1, 2, \ldots\}$

F分布
F-Distribution

表記	$F(\nu_1,\ \nu_2)$
実現値	$x \in [0, +\infty)$
パラメータ	（分子の）自由度 $\nu_1 \in \{1, 2, \ldots\}$ （分母の）自由度 $\nu_2 \in \{1, 2, \ldots\}$

指数分布
Exponential Distribution

表記	$\text{Exp}(\lambda)$
実現値	$x \in [0, +\infty)$
パラメータ	レートパラメータ $\lambda \in (0, +\infty)$	スケールパラメータ $\beta \in (0, +\infty)$
（変換）	－	$\beta = \frac{1}{\lambda}$

ガンマ分布
Gamma Distribution

表記	$\text{Gamma}(\alpha,\ \beta)$
実現値	$x \in [0, +\infty)$
パラメータ	形状パラメータ $\alpha \in (0, +\infty)$ レートパラメータ $\beta \in (0, +\infty)$	形状パラメータ $k \in (0, +\infty)$ スケールパラメータ $\theta \in (0, +\infty)$
（変換）	－	$k = \alpha$ $\theta = \frac{1}{\beta}$

一様分布
Uniform Distribution

表記	$\text{U}(a,\ b)$
実現値	$x \in [a, b]$
パラメータ	下限 $a \in \mathbf{R}$ 上限 $b \in \mathbf{R}$ $a \lt b$ とする。

ベータ分布
Beta Distribution

表記	$\text{Beta}(\alpha,\ \beta)$
実現値	$x \in [0, 1]$
パラメータ	形状パラメータ $α \in (0, +\infty)$ 形状パラメータ $\beta \in (0, +\infty)$

コーシー分布
Cauchy Distribution

表記	$\text{Cauchy}(x_0,\ \gamma)$
実現値	$x \in \mathbf{R}$
パラメータ	位置パラメータ $x_0 \in \mathbf{R}$ スケールパラメータ $\gamma \in (0, +\infty)$

パレート分布
Pareto Distribution

表記	$\text{Pareto}(x_\mathrm{m},\ \alpha)$
実現値	$x \in [x_\mathrm{m}, +\infty)$
パラメータ	スケールパラメータ $x_\mathrm{m} \in (0, +\infty)$ 形状パラメータ $\alpha \in (0, +\infty)$

二項分布
Binomial Distribution

表記	$\text{B}(n,\ p)$
実現値	$k \in \{0, 1, \ldots, n\}$
パラメータ	試行回数 $n \in \{0, 1, \ldots\}$ 成功確率 $p \in (0, 1)$

ベルヌーイ分布
Bernoulli Distribution

表記	$\text{Bernoulli}(p)$
実現値	$k \in \{0, 1\}$
パラメータ	成功確率 $p \in (0, 1)$

ポアソン分布
Poisson Distribution

表記	$\text{Poisson}(\lambda)$
実現値	$k \in \{0, 1, \ldots\}$
パラメータ	平均 $\lambda \in (0, +\infty)$

負の二項分布
Negative Binomial Distribution

表記	$\text{NB}(r,\ p)$	$\text{NB}_\text{[number-of-trials]}(r,\ p)$
実現値	$k \in \{0, 1, \ldots\}$	$k \in \{r, r + 1, \ldots\}$
パラメータ	成功回数 $r \in \{1, 2, \ldots\}$ 成功確率 $p \in (0, 1)$	成功回数 $r \in \{1, 2, \ldots\}$ 成功確率 $p \in (0, 1)$

幾何分布
Geometric Distribution

表記	$\text{Geom}(p)$	$\text{Geom}_\text{[number-of-trials]}(p)$
実現値	$k \in \{0, 1, \ldots\}$	$k \in \{1, 2, \ldots\}$
パラメータ	成功確率 $p \in (0, 1)$	成功確率 $p \in (0, 1)$

超幾何分布
Hypergeometric Distribution

表記	$\text{Hyper}(n,\ N,\ K)$
実現値	$k \in \{0, 1, \ldots, n\}$ $k \leq K$ の制約、 $n - k \leq N - K$ の制約にしたがう。
パラメータ	試行回数 $n \in \{0, 1, \ldots, N\}$ 要素数 $N \in \{0, 1, \ldots\}$ 成功要素数 $K \in \{0, 1, \ldots, N\}$	試行回数 $n \in \{0, 1, \ldots, K + M\}$ 成功要素数 $K \in \{0, 1, \ldots\}$ 失敗要素数 $M \in \{0, 1, \ldots\}$
（変換）	－	$M = N - K$

多変量正規分布
Multivariate Normal Distribution

表記	$\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$
実現値	$\boldsymbol{x} \in \mathbf{R}^m$
パラメータ	平均 $\boldsymbol{\mu} \in \mathbf{R}^m$ 共分散行列 $\boldsymbol{\Sigma} \in \mathbf{R}^{(m, m)}$ $\boldsymbol{\Sigma}$ は正定値対称行列とする。	平均 $\boldsymbol{\mu} \in \mathbf{R}^m$ 精度行列 $\boldsymbol{\Sigma}^{-1} \in \mathbf{R}^{(m, m)}$ $\boldsymbol{\Sigma}^{-1}$ は正定値対称行列とする。

ディリクレ分布
Dirichlet Distribution

表記	$\text{Dirichlet}(\boldsymbol{\alpha})$
実現値	$\boldsymbol{x} = (x_1, \ldots, x_m);\ x_i \in [0, 1]$ $\sum_i x_i = 1$ の制約にしたがう。
パラメータ	形状パラメータ $\boldsymbol{\alpha} = (\alpha_1, \ldots, \alpha_m);\ \alpha_i \in (0, +\infty)$

多項分布
Multinomial Distribution

表記	$\text{Mult}(n,\ \boldsymbol{p})$
実現値	$\boldsymbol{k} = (k_1, \ldots, k_m);\ k_i \in \{0, 1, \ldots, n\}$ $\sum_i k_i = n$ の制約にしたがう。
パラメータ	試行回数 $n \in \{0, 1, \ldots\}$ カテゴリ確率 $\boldsymbol{p} = (p_1, \ldots, p_m);\ p_i \in (0, 1)$ $\sum_i p_i = 1$ とする。

カテゴリ分布
Categorical Distribution

表記	$\text{Cat}(\boldsymbol{p})$
実現値	$\boldsymbol{k} = (k_1, \ldots, k_m);\ k_i \in \{0, 1\}$ $\sum_i k_i = 1$ の制約にしたがう。
パラメータ	カテゴリ確率 $\boldsymbol{p} = (p_1, \ldots, p_m);\ p_i \in (0, 1)$ $\sum_i p_i = 1$ とする。

多変量超幾何分布
Multivariate Hypergeometric Distribution

表記	$\text{Hyper}(n,\ N,\ \boldsymbol{K})$
実現値	$\boldsymbol{k} = (k_1, \ldots, k_m);\ k_i \in \{0, 1, \ldots, n\}$ $k_i \leq K_i$ の制約、 $\sum_i k_i = n$ の制約にしたがう。
パラメータ	試行回数 $n \in \{0, 1, \ldots, N\}$ 要素数 $N \in \{0, 1, \ldots\}$ カテゴリ要素数 $\boldsymbol{K} = (K_1, \ldots, K_m);\ K_i \in \{0, 1, \ldots, N\}$ $\sum_i K_i = N$ とする。

2023-01-16

条件付き分布 - 確率分布チートシート

数学・統計学

自サイト（HTML版）からの転載です。

条件付き分布
周辺分布
合成分布（無条件分布）

条件付き分布

★は条件付き分布も同じ種類の分布となることを表す。

指数分布

$X$ が $\text{Exp}(\lambda)$ にしたがうとき、 $t$ を非負の実数として、 $(X - t \mid X \geq t)$ は $\text{Exp}(\lambda)$ にしたがう。〔無記憶性★〕¹
無記憶性は $\text{P}(X \gt s + t \mid X \gt t) = \text{P}(X \gt s)$ のように表される。（条件が $X \gt t$ でも $X \geq t$ でも実質的な違いはない。）この性質は、ある出来事が起こるまでにかかる時間の分布が時間経過によって変化しないことを意味する。

一様分布

$X$ が $\text{U}(a,\ b)$ にしたがうとき、 $a', b'$ を実数（ $a \leq a' \lt b' \leq b$ を満たす）として、 $(X \mid a' \leq X \leq b')$ は $\text{U}(a',\ b')$ にしたがう。〔値を制限★〕^証明

パレート分布

$X$ が $\text{Pareto}(x_\mathrm{m},\ \alpha)$ にしたがうとき、 $s$ を実数（ $s \geq x_\mathrm{m}$ を満たす）として、 $(X \mid X \geq s)$ は $\text{Pareto}(x_\mathrm{m} = s,\ \alpha)$ にしたがう。〔値を制限★〕^証明

二項分布

$X$ が $\text{B}(n_X,\ p)$ に、 $Y$ が $\text{B}(n_Y,\ p)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{Hyper}(n = w,\ N = n_X + n_Y,\ K = n_X)$ にしたがう。〔和を固定〕^証明
$X_1, \ldots, X_n$ がそれぞれ $\text{B}(n_i,\ p)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{Hyper}(n = w,\ N = n_1 + \cdots + n_n,\ \boldsymbol{K} = (n_1, \ldots, n_n))$ にしたがう。〔総和を固定〕^証明

ポアソン分布

$X$ が $\text{Poisson}(\lambda_X)$ に、 $Y$ が $\text{Poisson}(\lambda_Y)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{B}\!\left(n = w,\ p = \frac{\lambda_X}{\lambda_X + \lambda_Y}\right)$ にしたがう。〔和を固定〕^証明
$X_1, \ldots, X_n$ がそれぞれ $\text{Poisson}(\lambda_i)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{Mult}\!\left(n = w,\ \boldsymbol{p} = \left(\frac{\lambda_1}{\lambda_1 + \cdots + \lambda_n}, \ldots, \frac{\lambda_n}{\lambda_1 + \cdots + \lambda_n}\right)\right)$ にしたがう。〔総和を固定〕^証明

負の二項分布

$X$ が $\text{NB}(r_X,\ p)$ に、 $Y$ が $\text{NB}(r_Y,\ p)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{BetaBin}(n = w,\ \alpha = r_X,\ \beta = r_Y)$ にしたがう。※ $\text{BetaBin}(n,\ \alpha,\ \beta)$ はベータ二項分布を表す。〔和を固定〕^証明
$X_1, \ldots, X_n$ がそれぞれ $\text{NB}(r_i,\ p)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{DirichletMult}(n = w,\ \boldsymbol{\alpha} = (r_1, \ldots, r_n))$ にしたがう。※ $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ はディリクレ多項分布を表す。〔総和を固定〕^証明

幾何分布

$X, Y$ が同一の $\text{Geom}(p)$ に独立にしたがうとき、 $(X \mid X + Y = w)$ は $\text{DiscreteUnif}(0,\ b = w)$ にしたがう。※ $\text{DiscreteUnif}(a,\ b)$ は離散一様分布を表す。〔和を固定〕^証明
$X_1, \ldots, X_n$ が同一の $\text{Geom}(p)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $(X_1, \ldots, X_n \mid W = w)$ は $\text{DirichletMult}(n = w,\ \boldsymbol{\alpha} = (1, \ldots, 1))$ にしたがう。※ $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ はディリクレ多項分布を表す。〔総和を固定〕^証明
$X$ が $\text{Geom}(p)$ にしたがうとき、 $n$ を非負の整数として、 $(X - n \mid X \geq n)$ は $\text{Geom}(p)$ にしたがう。〔無記憶性★〕¹
離散確率分布の無記憶性は $\text{P}(X \gt m + n \mid X \geq n) = \text{P}(X \gt m)$ または $\text{P}(X \gt m + n \mid X \gt n) = \text{P}(X \gt m)$ のように表される。この性質は、試行が初めて成功するまでの失敗回数（試行回数）の分布が履歴によって変化しないことを意味する。「失敗回数を数える」幾何分布は条件 $X \geq n$ の無記憶性を満たす。
$X$ が $\text{Geom}_\text{[number-of-trials]}(p)$ にしたがうとき、 $n$ を非負の整数として、 $(X - n \mid X \gt n)$ は $\text{Geom}_\text{[number-of-trials]}(p)$ にしたがう。〔無記憶性（試行回数）★〕^証明
「試行回数を数える」幾何分布は条件 $X \gt n$ の無記憶性を満たす。

多変量正規分布

多変量正規分布で成分を部分的に固定した条件付き分布は多変量正規分布になる。 $\boldsymbol{X} = (X_1, \ldots, X_l, \ldots, X_m)$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $\boldsymbol{X}_1 = (X_1, \ldots, X_l),\ \boldsymbol{X}_2 = (X_{l + 1}, \ldots, X_m)$ とすると、 $(\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = \boldsymbol{x}_2)$ は $\text{N}(\boldsymbol{\mu}_{1 \mid 2},\ \boldsymbol{\Sigma}_{1 \mid 2})$ にしたがう。

条件付き分布の平均: $\boldsymbol{\mu}_{1 \mid 2} = \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12}\,{\boldsymbol{\Sigma}_{22}}^{-1}\,(\boldsymbol{x}_2 - \boldsymbol{\mu}_2)$
条件付き分布の共分散行列: $\boldsymbol{\Sigma}_{1 \mid 2} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12}\,{\boldsymbol{\Sigma}_{22}}^{-1}\,\boldsymbol{\Sigma}_{21}$

ただし、 $\boldsymbol{\mu}_1 = (\mu_1, \ldots, \mu_l),\ \boldsymbol{\mu}_2 = (\mu_{l + 1}, \ldots, \mu_m)$ であり、 $\boldsymbol{\Sigma}_{11}, \boldsymbol{\Sigma}_{12}, \boldsymbol{\Sigma}_{21}, \boldsymbol{\Sigma}_{22}$ は $\boldsymbol{\Sigma}$ を $\left[\begin{smallmatrix}\boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22}\end{smallmatrix}\right]$ のように区分けしたブロック行列を表す。〔成分を固定★〕²
変換§多変量正規分布#成分の並べ替えによって任意の成分を固定する場合に一般化できる。

多項分布

多項分布で成分を部分的に固定した条件付き分布は多項分布になる。 $\boldsymbol{X} = (X_1, \ldots, X_l, \ldots, X_m)$ が $\text{Mult}(n,\ \boldsymbol{p})$ にしたがうとき、 $\boldsymbol{X}_1 = (X_1, \ldots, X_l),\ \boldsymbol{X}_2 = (X_{l + 1}, \ldots, X_m)$ とすると、 $(\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = (k_{l + 1}, \ldots, k_m))$ は $\text{Mult}\!\left(n - (k_{l + 1} + \cdots + k_m),\ \frac{\boldsymbol{p}_1}{1 - (p_{l + 1} + \cdots + p_m)}\right)$ にしたがう。ただし、 $\boldsymbol{p}_1 = (p_1, \ldots, p_l)$ である。〔成分を固定★〕³
変換§多項分布#成分の並べ替えによって任意の成分を固定する場合に一般化できる。

多変量超幾何分布

多変量超幾何分布で成分を部分的に固定した条件付き分布は多変量超幾何分布になる。 $\boldsymbol{X} = (X_1, \ldots, X_l, \ldots, X_m)$ が $\text{Hyper}(n,\ N,\ \boldsymbol{K})$ にしたがうとき、 $\boldsymbol{X}_1 = (X_1, \ldots, X_l),\ \boldsymbol{X}_2 = (X_{l + 1}, \ldots, X_m)$ とすると、 $(\boldsymbol{X}_1 \mid \boldsymbol{X}_2 = (k_{l + 1}, \ldots, k_m))$ は $\text{Hyper}(n - (k_{l + 1} + \cdots + k_m),\ N - (K_{l + 1} + \cdots + K_m),\ \boldsymbol{K}_1)$ にしたがう。ただし、 $\boldsymbol{K}_1 = (K_1, \ldots, K_l)$ である。〔成分を固定★〕⁴
変換§多変量超幾何分布#成分の並べ替えによって任意の成分を固定する場合に一般化できる。

周辺分布

多変量正規分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $X_i$ は $\text{N}(\mu_i,\ {\sigma_i}^2)$ にしたがう。〔周辺分布〕⁵
多変量正規分布の多次元周辺分布は多変量正規分布である。たとえば $X_m$ を消去した $(X_1, \ldots, X_{m - 1})$ は、 $\boldsymbol{\mu}$ から $\mu_m$ を取り除いたものを $\boldsymbol{\mu}'$ 、 $\boldsymbol{\Sigma}$ から $m$ 行目・ $m$ 列目を取り除いたものを $\boldsymbol{\Sigma}'$ で表すと、 $\text{N}(\boldsymbol{\mu}',\ \boldsymbol{\Sigma}')$ にしたがう。一般の場合も、消去する成分の添字の集合を $A$ で表すと、 $\boldsymbol{\mu}$ から $A$ に属する添字の成分を、 $\boldsymbol{\Sigma}$ から $A$ に属する添字の行・列を取り除けばよい。〔多次元周辺分布★〕⁵

ディリクレ分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、 $X_i$ は $\text{Beta}(\alpha_i,\ \alpha_1 + \cdots + \alpha_m - \alpha_i)$ にしたがう。〔周辺分布〕^証明
ディリクレ分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布はディリクレ分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Dirichlet}(\boldsymbol{\alpha} = (\alpha_{Y_1}, \ldots, \alpha_{Y_l}))$ にしたがう。ただし、 $\alpha_{Y_j} = \sum_{i \in A_j} \alpha_i$ である。〔グループ化★〕^証明

多項分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Mult}(n,\ \boldsymbol{p})$ にしたがうとき、 $X_i$ は $\text{B}(n,\ p_i)$ にしたがう。〔周辺分布〕³
多項分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布は多項分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Mult}(n,\ \boldsymbol{p} = (p_{Y_1}, \ldots, p_{Y_l}))$ にしたがう。ただし、 $p_{Y_j} = \sum_{i \in A_j} p_i$ である。〔グループ化★〕³

カテゴリ分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Cat}(\boldsymbol{p})$ にしたがうとき、 $X_i$ は $\text{Bernoulli}(p_i)$ にしたがう。〔周辺分布〕³
カテゴリ分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布はカテゴリ分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Cat}(\boldsymbol{p} = (p_{Y_1}, \ldots, p_{Y_l}))$ にしたがう。ただし、 $p_{Y_j} = \sum_{i \in A_j} p_i$ である。〔グループ化★〕³

多変量超幾何分布

$\boldsymbol{X} = (X_1, \ldots, X_m)$ が $\text{Hyper}(n,\ N,\ \boldsymbol{K})$ にしたがうとき、 $X_i$ は $\text{Hyper}(n,\ N,\ K_i)$ にしたがう。〔周辺分布〕⁴
多変量超幾何分布で成分をグループに分けて、グループごとに集約（成分を合計）した分布は多変量超幾何分布になる。成分の添字の集合 $\{1, \ldots, m\}$ を部分集合に分割したものを $A_1, \ldots, A_l$ で表し、 $Y_1, \ldots, Y_l$ をそれぞれ $Y_j = \sum_{i \in A_j} X_i$ とすると、 $(Y_1, \ldots, Y_l)$ は $\text{Hyper}(n,\ N,\ \boldsymbol{K} = (K_{Y_1}, \ldots, K_{Y_l}))$ にしたがう。ただし、 $K_{Y_j} = \sum_{i \in A_j} K_i$ である。〔グループ化★〕⁴

合成分布（無条件分布）

★は合成分布（無条件分布）も同じ種類の分布となることを表す。

正規分布

$(X \mid \mu)$ が $\text{N}(\mu,\ \sigma^2)$ に、 $\mu$ が $\text{N}(\mu_\mu,\ {\sigma_\mu}^2)$ にしたがうとき、条件なしの $X$ は $\text{N}(\mu_\mu,\ \sigma^2 + {\sigma_\mu}^2)$ にしたがう。〔正規分布合成★〕⁶
$(X \mid \sigma^2)$ が $\text{N}(0,\ \sigma^2)$ に、 $\sigma^2$ が $\chi^{-2}(\nu)$ にしたがうとき、条件なしの $X$ は $\frac{1}{\sqrt{\nu}}$ 倍された $t(\nu)$ にしたがう。※ $\chi^{-2}(\nu)$ は逆カイ2乗分布を表す。〔逆カイ2乗分布合成〕⁷
$\sigma^2$ が $\chi^{-2}(\nu)$ にしたがうの部分は、 $\tau = \frac{1}{\sigma^2}$ が $\chi^2(\nu)$ にしたがうと言い換えても同じである。

二項分布

$(X \mid n)$ が $\text{B}(n,\ p)$ に、 $n$ が $\text{B}(n_n,\ p_n)$ にしたがうとき、条件なしの $X$ は $\text{B}(n_n,\ pp_n)$ にしたがう。〔二項分布合成★〕⁶
$(X \mid n)$ が $\text{B}(n,\ p)$ に、 $n$ が $\text{Poisson}(\lambda_n)$ にしたがうとき、条件なしの $X$ は $\text{Poisson}(p\lambda_n)$ にしたがう。〔ポアソン分布合成〕⁶
$(X \mid n)$ が $\text{B}(n,\ p)$ に、 $n$ が $\text{NB}(r_n,\ p_n)$ にしたがうとき、条件なしの $X$ は $\text{NB}\!\left(r_n,\ \frac{p_n}{p + p_n - pp_n}\right)$ にしたがう。〔負の二項分布合成〕⁶
$(X \mid p)$ が $\text{B}(n,\ p)$ に、 $p$ が $\text{U}(0,\ 1)$ にしたがうとき、条件なしの $X$ は $\text{DiscreteUnif}(0,\ b = n)$ にしたがう。※ $\text{DiscreteUnif}(a,\ b)$ は離散一様分布を表す。〔標準一様分布合成〕¹
$(X \mid p)$ が $\text{B}(n,\ p)$ に、 $p$ が $\text{Beta}(\alpha,\ \beta)$ にしたがうとき、条件なしの $X$ は $\text{BetaBin}(n,\ \alpha,\ \beta)$ にしたがう。※ $\text{BetaBin}(n,\ \alpha,\ \beta)$ はベータ二項分布を表す。〔ベータ分布合成〕¹

ベルヌーイ分布

$(X \mid p)$ が $\text{Bernoulli}(p)$ に、 $p$ が $\text{Beta}(\alpha,\ \beta)$ にしたがうとき、条件なしの $X$ は $\text{Bernoulli}\!\left(p = \frac{\alpha}{\alpha + \beta}\right)$ にしたがう。〔ベータ分布合成★〕^証明

ポアソン分布

$(X \mid \lambda)$ が $\text{Poisson}(\lambda)$ に、 $\lambda$ が $\text{Exp}(\lambda)$ にしたがうとき、条件なしの $X$ は $\text{Geom}\!\left(p = \frac{\lambda}{1 + \lambda}\right)$ にしたがう。〔指数分布合成〕⁸
$(X \mid \lambda)$ が $\text{Poisson}(\lambda)$ に、 $\lambda$ が $\text{Gamma}(\alpha,\ \beta)$ にしたがうとき、条件なしの $X$ は $\text{NB}\!\left(r = \alpha,\ p = \frac{\beta}{1 + \beta}\right)$ にしたがう。〔ガンマ分布合成〕⁸

多項分布

$(\boldsymbol{X} \mid \boldsymbol{p})$ が $\text{Mult}(n,\ \boldsymbol{p})$ に、 $\boldsymbol{p}$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、条件なしの $\boldsymbol{X}$ は $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ にしたがう。※ $\text{DirichletMult}(n,\ \boldsymbol{\alpha})$ はディリクレ多項分布を表す。〔ディリクレ分布合成〕⁹

カテゴリ分布

$(\boldsymbol{X} \mid \boldsymbol{p})$ が $\text{Cat}(\boldsymbol{p})$ に、 $\boldsymbol{p}$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、条件なしの $\boldsymbol{X}$ は $\text{Cat}\!\left(\boldsymbol{p} = \frac{\boldsymbol{\alpha}}{\alpha_1 + \cdots + \alpha_m}\right)$ にしたがう。〔ディリクレ分布合成★〕^証明

Leemis and McQueston. Univariate Distribution Relationships.
Joram Soch. "Conditional distributions of the multivariate normal distribution". The Book of Statistical Proofs.
Kyle Siegrist. "The Multinomial Distribution". Random.
Kyle Siegrist. "The Multivariate Hypergeometric Distribution". Random.
Joram Soch. "Marginal distributions of the multivariate normal distribution". The Book of Statistical Proofs.
Villa and Escobar. Using Moment Generating Functions to Derive Mixture Distributions.
John D. Cook. "Student-t as a mixture of normals" (PDF).
〈注意〉証明に現れる逆ガンマ分布をスケーリングしたものが逆カイ2乗分布にあたる。
John D. Cook. "Notes on the negative binomial distribution" (PDF).
〈注意〉文書中、ガンマ分布の $\beta$ をスケールパラメータ（このチートシートでの $\beta$ の逆数）としている。
Thomas P. Minka. "Estimating a Dirichlet distribution" (PDF).

2023-01-16

変換 - 確率分布チートシート

数学・統計学

自サイト（HTML版）からの転載です。

変換

変換

★は変換の結果も同じ種類の分布となることを表す。

正規分布

$X$ が $\text{N}(\mu,\ \sigma^2)$ にしたがうとき、 $\frac{X - \mu}{\sigma}$ は $\text{N}(0,\ 1)$ にしたがう。〔標準化★〕
$X$ が $\text{N}(\mu,\ \sigma^2)$ にしたがうとき、 $a$ を実数、 $b$ を正の実数として、 $a + bX$ は $\text{N}(a + b\mu,\ b^2\,\sigma^2)$ にしたがう。〔位置スケール変換★〕
がに、がに独立にしたがうとき、
- $X + Y$ は $\text{N}(\mu_X + \mu_Y,\ {\sigma_X}^2 + {\sigma_Y}^2)$ にしたがう。〔加法★〕
- $X - Y$ は $\text{N}(\mu_X - \mu_Y,\ {\sigma_X}^2 + {\sigma_Y}^2)$ にしたがう。〔減法★〕
$X_1, \ldots, X_n$ がそれぞれ $\text{N}(\mu_i,\ {\sigma_i}^2)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{N}(\mu_1 + \cdots + \mu_n,\ {\sigma_1}^2 + \cdots + {\sigma_n}^2)$ にしたがう。〔総和★〕
$X$ が $\text{N}(\mu,\ \sigma^2)$ にしたがうとき、 $e^X$ は $\text{Lognorm}(\mu,\ \sigma^2)$ にしたがう。〔指数変換〕
標本平均は $\overline{X} = \frac{1}{n}\sum_i X_i$ で定義される。 $X_1, \ldots, X_n$ が同一の $\text{N}(\mu,\ \sigma^2)$ に独立にしたがうとき、 $\overline{X}$ は $\text{N}\!\left(\mu,\ \frac{\sigma^2}{n}\right)$ にしたがう。〔標本平均★〕
$X_1, \ldots, X_n$ が同一の $\text{N}(\mu,\ \sigma^2)$ に独立にしたがうとき、 $X_i - \overline{X}$ は $\text{N}\!\left(0,\ \frac{n - 1}{n}\,\sigma^2\right)$ にしたがう。〔残差★〕^証明
不偏標本分散は $S^2 = \frac{1}{n - 1}\sum_i\,(X_i - \overline{X})^2$ で定義される。 $X_1, \ldots, X_n$ が同一の $\text{N}(\mu,\ \sigma^2)$ に独立にしたがうとき、 $\nu = n - 1$ とすると、 $\frac{\nu S^2}{\sigma^2}$ は $\chi^2(\nu)$ にしたがう。さらに、 $\overline{X}$ と $S^2$ は独立である。〔不偏標本分散〕
$Z = \frac{\overline{X} - \mu}{\sqrt{\sigma^2/n}}$ が $\text{N}(0,\ 1)$ に、 $\frac{\nu S^2}{\sigma^2}$ が $\chi^2(\nu)$ に独立にしたがうことから、 $\frac{Z}{\sqrt{S^2/\sigma^2}} = \frac{\overline{X} - \mu}{\sqrt{S^2/n}}$ は $t(\nu)$ にしたがう。§カイ2乗分布#Studentのtも参照。

標準正規分布

$X, Y$ が $\text{N}(0,\ 1)$ に独立にしたがうとき、 $\frac{X}{Y}$ は $\text{Cauchy}(0,\ 1)$ にしたがう。〔比〕
$X$ が $\text{N}(0,\ 1)$ にしたがうとき、 $X^2$ は $\chi^2(1)$ にしたがう。〔平方変換〕
$X_1, \ldots, X_n$ が $\text{N}(0,\ 1)$ に独立にしたがうとき、 $\sum_i {X_i}^2$ は $\chi^2(\nu = n)$ にしたがう。〔平方和〕

対数正規分布

$X$ が $\text{Lognorm}(\mu,\ \sigma^2)$ にしたがうとき、 $b$ を正の実数として、 $bX$ は $\text{Lognorm}(\log b + \mu,\ \sigma^2)$ にしたがう。〔スケール変換★〕
がに、がに独立にしたがうとき、
- $XY$ は $\text{Lognorm}(\mu_X + \mu_Y,\ {\sigma_X}^2 + {\sigma_Y}^2)$ にしたがう。〔乗法★〕
- $\frac{X}{Y}$ は $\text{Lognorm}(\mu_X - \mu_Y,\ {\sigma_X}^2 + {\sigma_Y}^2)$ にしたがう。〔除法★〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Lognorm}(\mu_i,\ {\sigma_i}^2)$ に独立にしたがうとき、 $\prod_i X_i$ は $\text{Lognorm}(\mu_1 + \cdots + \mu_n,\ {\sigma_1}^2 + \cdots + {\sigma_n}^2)$ にしたがう。〔総乗★〕
$X$ が $\text{Lognorm}(\mu,\ \sigma^2)$ にしたがうとき、 $c$ を0でない実数として、 $X^c$ は $\text{Lognorm}(c\mu,\ c^2\,\sigma^2)$ にしたがう。〔べき変換★〕
$X$ が $\text{Lognorm}(\mu,\ \sigma^2)$ にしたがうとき、 $\log X$ は $\text{N}(\mu,\ \sigma^2)$ にしたがう。〔対数変換〕

カイ2乗分布

$X_1, \ldots, X_n$ がそれぞれ $\chi^2(\nu_i)$ に独立にしたがうとき、 $\sum_i X_i$ は $\chi^2(\nu_1 + \cdots + \nu_n)$ にしたがう。極限の場合§カイ2乗分布#正規近似も参照。〔総和★〕
$Z$ が $\text{N}(0,\ 1)$ に、 $X$ が $\chi^2(\nu_X)$ に独立にしたがうとき、 $\frac{Z}{\sqrt{X/\nu_X}}$ は $t(\nu_X)$ にしたがう。〔Studentのt〕
$X$ が $\chi^2(\nu_X)$ に、 $Y$ が $\chi^2(\nu_Y)$ に独立にしたがうとき、 $\frac{X/\nu_X}{Y/\nu_Y}$ は $F(\nu_X,\ \nu_Y)$ にしたがう。〔F比〕

t分布

$X$ が $t(\nu)$ にしたがうとき、 $X^2$ は $F(1,\ \nu)$ にしたがう。〔平方変換〕

F分布

$X$ が $F(\nu_1,\ \nu_2)$ にしたがうとき、 $\frac{1}{X}$ は $F(\nu_2,\ \nu_1)$ にしたがう。〔逆数変換★〕

指数分布

$X$ が $\text{Exp}(\lambda)$ にしたがうとき、 $\lambda X$ は $\text{Exp}(1)$ にしたがう。〔標準化★〕
$X$ が $\text{Exp}(\lambda)$ にしたがうとき、 $b$ を正の実数として、 $bX$ は $\text{Exp}\!\left(\frac{\lambda}{b}\right)$ にしたがう。〔スケール変換★〕
$X_1, \ldots, X_n$ が同一の $\text{Exp}(\lambda)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{Gamma}(\alpha = n,\ \beta = \lambda)$ にしたがう。極限の場合§ガンマ分布#正規近似も参照。〔総和〕
$X, Y$ が同一の $\text{Exp}(\lambda)$ に独立にしたがうとき、 $\frac{X}{X + Y}$ は $\text{U}(0,\ 1)$ にしたがう。〔割合〕
$X_1, \ldots, X_n$ が同一の $\text{Exp}(\lambda)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $\left(\frac{X_1}{W}, \ldots, \frac{X_n}{W}\right)$ は $\text{Dirichlet}(\boldsymbol{\alpha} = (1, \ldots, 1))$ にしたがう。〔構成比〕
$X$ が $\text{Exp}(\lambda)$ にしたがうとき、 $e^X$ は $\text{Pareto}(1,\ \alpha = \lambda)$ にしたがう。また、 $e^{-X}$ は $\text{Beta}(\alpha = \lambda,\ 1)$ にしたがう。〔指数変換〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Exp}(\lambda_i)$ に独立にしたがうとき、 $\min\{X_1, \ldots, X_n\}$ は $\text{Exp}(\lambda_1 + \cdots + \lambda_n)$ にしたがう。また、 $X_i$ が最小となる確率は $\frac{\lambda_i}{\lambda_1 + \cdots + \lambda_n}$ である。〔最小★〕¹
$X$ が $\text{Exp}(\lambda)$ にしたがうとき、 $\lfloor X\rfloor$ は $\text{Geom}(p = 1 - e^{-\lambda})$ にしたがう。また、 $\lceil X\rceil$ は $\text{Geom}_\text{[number-of-trials]}(p = 1 - e^{-\lambda})$ にしたがう。〔離散化〕

標準指数分布

$X$ が $\text{Exp}(1)$ に、 $U$ が $\text{U}(0,\ 2\pi)$ に独立にしたがうとき、 $\sqrt{2X} \cos U$ と $\sqrt{2X} \sin U$ は $\text{N}(0,\ 1)$ にしたがう。さらに、 $\sqrt{2X} \cos U$ と $\sqrt{2X} \sin U$ は独立である。〔Box–Muller変換〕²
Box–Muller変換は正規乱数の作り方を示している。[0, 1)上の一様乱数 $U_1, U_2$ を、 $Z_1 = \sqrt{-2\log(1 - U_1)}\cos(2\pi U_2),\ Z_2 = \sqrt{-2\log(1 - U_1)}\sin(2\pi U_2)$ のように変換して標準正規乱数を二つ得ることができる。§標準一様分布#逆関数サンプリングも参照。

ガンマ分布

$X$ が $\text{Gamma}(\alpha,\ \beta)$ にしたがうとき、 $b$ を正の実数として、 $bX$ は $\text{Gamma}\!\left(\alpha,\ \frac{\beta}{b}\right)$ にしたがう。〔スケール変換★〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Gamma}(\alpha_i,\ \beta)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{Gamma}(\alpha_1 + \cdots + \alpha_n,\ \beta)$ にしたがう。極限の場合§ガンマ分布#正規近似も参照。〔総和★〕
$X$ が $\text{Gamma}(\alpha_X,\ \beta)$ に、 $Y$ が $\text{Gamma}(\alpha_Y,\ \beta)$ に独立にしたがうとき、 $\frac{X}{X + Y}$ は $\text{Beta}(\alpha_X,\ \alpha_Y)$ にしたがう。〔割合〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Gamma}(\alpha_i,\ \beta)$ に独立にしたがうとき、 $W = \sum_i X_i$ とすると、 $\left(\frac{X_1}{W}, \ldots, \frac{X_n}{W}\right)$ は $\text{Dirichlet}(\boldsymbol{\alpha} = (\alpha_1, \ldots, \alpha_n))$ にしたがう。〔構成比〕
$X$ が $\text{Gamma}(\alpha_1 + \alpha_2,\ \beta)$ に、 $Y$ が $\text{Beta}(\alpha_1,\ \alpha_2)$ に独立にしたがうとき、 $XY$ は $\text{Gamma}(\alpha_1,\ \beta)$ にしたがう。また、 $X\,(1 - Y)$ は $\text{Gamma}(\alpha_2,\ \beta)$ にしたがう。§ベータ分布#相補変換も参照。〔部分★〕^証明

一様分布

$X$ が $\text{U}(a,\ b)$ にしたがうとき、 $\frac{X - a}{b - a}$ は $\text{U}(0,\ 1)$ にしたがう。〔標準化★〕
$X$ が $\text{U}(a,\ b)$ にしたがうとき、 $t$ を実数、 $s$ を正の実数として、 $t + sX$ は $\text{U}(t + sa,\ t + sb)$ にしたがう。〔位置スケール変換★〕
$X$ が $\text{U}(a \in \mathbf{Z},\ b \in \mathbf{Z})$ にしたがうとき、 $\lfloor X\rfloor$ は $\text{DiscreteUnif}(a,\ b - 1)$ にしたがう。また、 $\lceil X\rceil$ は $\text{DiscreteUnif}(a + 1,\ b)$ にしたがう。※ $\text{DiscreteUnif}(a,\ b)$ は離散一様分布を表す。〔離散化〕

標準一様分布

$X$ が $\text{U}(0,\ 1)$ にしたがうとき、 $1 - X$ は $\text{U}(0,\ 1)$ にしたがう。〔相補変換★〕
この変換は分布を保つ。プログラミング言語の提供する[0, 1)上の乱数を(0, 1]上の乱数に変えることができる。
$X$ が $\text{U}(0,\ 1)$ にしたがうとき、 $c$ を正の実数として、 $X^c$ は $\text{Beta}\!\left(\alpha = \frac{1}{c},\ 1\right)$ にしたがう。〔正のべき変換〕
$X$ が $\text{U}(0,\ 1)$ にしたがうとき、 $c$ を正の実数として、 $X^{-c}$ は $\text{Pareto}\!\left(1,\ \alpha = \frac{1}{c}\right)$ にしたがう。〔負のべき変換〕
$X$ が $\text{U}(0,\ 1)$ にしたがうとき、 $\log X$ は符号を変えた $\text{Exp}(1)$ にしたがう。〔対数変換〕
がに独立にしたがうとき、
- $\min\{X_1, \ldots, X_n\}$ は $\text{Beta}(1,\ \beta = n)$ にしたがう。〔最小〕
- $\max\{X_1, \ldots, X_n\}$ は $\text{Beta}(\alpha = n,\ 1)$ にしたがう。〔最大〕
$X_1, \ldots, X_n$ が $\text{U}(0,\ 1)$ に独立にしたがうとき、 $X_{(i)}$ を小さい方から $i$ 番目の順序統計量とすると、 $X_{(i)}$ は $\text{Beta}(\alpha = i,\ \beta = n + 1 - i)$ にしたがう。また、 $X_{(j)} - X_{(i)}$ （ただし、 $i \lt j$ ）は $\text{Beta}(\alpha = j - i,\ \beta = n + 1 - (j - i))$ にしたがう。〔順序統計量〕³
確率分布の累積分布関数 $F_X(x)$ が連続かつ狭義単調ならば逆関数が定義される。これを分位点関数といい、 ${F_X}^{-1}(p)$ で表す。 $X$ が $\text{U}(0,\ 1)$ にしたがうとき、 ${F_X}^{-1}(X)$ は対応する $F_X(x)$ を累積分布関数にもつ確率分布にしたがう。このことを用いて目的の分布の乱数を一様乱数から変換して得ることができる。〔逆関数サンプリング〕⁴
逆関数サンプリングは率直なのでトラブルが起こりにくいが、計算に特殊な関数を要する場合がある。分位点関数の例を以下に挙げる。

正規分布: ${F_X}^{-1}(p) = \mu + \sigma\sqrt{2}\,\text{erfinv}(2p - 1)$
指数分布: ${F_X}^{-1}(p) = \frac{-\log(1 - p)}{\lambda}$
コーシー分布: ${F_X}^{-1}(p) = x_0 + \gamma\tan\!\left(\pi\left(p - \frac{1}{2}\right)\right)$
パレート分布: ${F_X}^{-1}(p) = x_\mathrm{m}\,(1 - p)^{-\frac{1}{\alpha}}$

ベータ分布

$X$ が $\text{Beta}(\alpha,\ \beta)$ にしたがうとき、 $1 - X$ は $\text{Beta}(\beta,\ \alpha)$ にしたがう。〔相補変換★〕

コーシー分布

$X$ が $\text{Cauchy}(x_0,\ \gamma)$ にしたがうとき、 $\frac{X - x_0}{\gamma}$ は $\text{Cauchy}(0,\ 1)$ にしたがう。〔標準化★〕
$X$ が $\text{Cauchy}(x_0,\ \gamma)$ にしたがうとき、 $a$ を実数、 $b$ を正の実数として、 $a + bX$ は $\text{Cauchy}(a + bx_0,\ bγ)$ にしたがう。〔位置スケール変換★〕
がに、がに独立にしたがうとき、
- $X + Y$ は $\text{Cauchy}(x_0 + y_0,\ \gamma_X + \gamma_Y)$ にしたがう。〔加法★〕
- $X - Y$ は $\text{Cauchy}(x_0 - y_0,\ \gamma_X + \gamma_Y)$ にしたがう。〔減法★〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Cauchy}(x_i,\ \gamma_i)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{Cauchy}(x_1 + \cdots + x_n,\ \gamma_1 + \cdots + \gamma_n)$ にしたがう。〔総和★〕
$X$ が $\text{Cauchy}(x_0,\ \gamma)$ にしたがうとき、 $\frac{1}{X}$ は $\text{Cauchy}\!\left(\frac{x_0}{{x_0}^2 + γ^2},\ \frac{γ}{{x_0}^2 + γ^2}\right)$ にしたがう。〔逆数変換★〕

パレート分布

$X$ が $\text{Pareto}(x_\mathrm{m},\ \alpha)$ にしたがうとき、 $b$ を正の実数として、 $bX$ は $\text{Pareto}(bx_\mathrm{m},\ \alpha)$ にしたがう。〔スケール変換★〕
$X$ が $\text{Pareto}(x_\mathrm{m},\ \alpha)$ にしたがうとき、 $c$ を正の実数として、 $X^c$ は $\text{Pareto}\!\left({x_\mathrm{m}}^c,\ \frac{\alpha}{c}\right)$ にしたがう。また、 $\left(\frac{X}{x_\mathrm{m}}\right)^c$ は $\text{Pareto}\!\left(1,\ \frac{\alpha}{c}\right)$ にしたがう。〔正のべき変換★〕
$X$ が $\text{Pareto}(x_\mathrm{m},\ \alpha)$ にしたがうとき、 $c$ を正の実数として、 $\left(\frac{X}{x_\mathrm{m}}\right)^{-c}$ は $\text{Beta}\!\left(\frac{\alpha}{c},\ 1\right)$ にしたがう。〔負のべき変換〕
$X$ が $\text{Pareto}(x_\mathrm{m},\ \alpha)$ にしたがうとき、 $\log\!\left(\frac{X}{x_\mathrm{m}}\right)$ は $\text{Exp}(\lambda = \alpha)$ にしたがう。〔対数変換〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Pareto}(x_\mathrm{m},\ \alpha_i)$ に独立にしたがうとき、 $\min\{X_1, \ldots, X_n\}$ は $\text{Pareto}(x_\mathrm{m},\ \alpha_1 + \cdots + \alpha_n)$ にしたがう。〔最小★〕

二項分布

$X$ が $\text{B}(n,\ p)$ にしたがうとき、 $n - X$ は $\text{B}(n,\ 1 - p)$ にしたがう。〔相補変換★〕
$X_1, \ldots, X_n$ がそれぞれ $\text{B}(n_i,\ p)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{B}(n_1 + \cdots + n_n,\ p)$ にしたがう。極限の場合§二項分布#正規近似も参照。〔総和★〕

ベルヌーイ分布

$X$ が $\text{Bernoulli}(p)$ にしたがうとき、 $1 - X$ は $\text{Bernoulli}(1 - p)$ にしたがう。〔相補変換★〕
$X_1, \ldots, X_n$ が同一の $\text{Bernoulli}(p)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{B}(n,\ p)$ にしたがう。極限の場合§二項分布#正規近似も参照。〔総和〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Bernoulli}(p_i)$ に独立にしたがうとき、 $\prod_i X_i$ は $\text{Bernoulli}(p_1 \cdots p_n)$ にしたがう。〔総乗★〕
がそれぞれに独立にしたがうとき、
- $\min\{X_1, \ldots, X_n\}$ は $\text{Bernoulli}(p_1 \cdots p_n)$ にしたがう。〔最小★〕
- $\max\{X_1, \ldots, X_n\}$ は $\text{Bernoulli}(1 - (1 - p_1) \cdots (1 - p_n))$ にしたがう。〔最大★〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Bernoulli}(p_i)$ に独立にしたがうとき、 $X_1 \oplus \cdots \oplus X_n$ は $\text{Bernoulli}\left(p = \frac{1 - (1 - 2p_1) \cdots (1 - 2p_n)}{2}\right)$ にしたがう。※ $X \oplus Y$ は排他的論理和を表す。〔パリティ★〕^証明

ポアソン分布

$X_1, \ldots, X_n$ がそれぞれ $\text{Poisson}(\lambda_i)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{Poisson}(\lambda_1 + \cdots + \lambda_n)$ にしたがう。極限の場合§ポアソン分布#正規近似も参照。〔総和★〕

負の二項分布

$X_1, \ldots, X_n$ がそれぞれ $\text{NB}(r_i,\ p)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{NB}(r_1 + \cdots + r_n,\ p)$ にしたがう。極限の場合§負の二項分布#正規近似も参照。〔総和★〕

幾何分布

$X_1, \ldots, X_n$ が同一の $\text{Geom}(p)$ に独立にしたがうとき、 $\sum_i X_i$ は $\text{NB}(r = n,\ p)$ にしたがう。極限の場合§負の二項分布#正規近似も参照。〔総和〕
$X_1, \ldots, X_n$ がそれぞれ $\text{Geom}(p_i)$ に独立にしたがうとき、 $\min\{X_1, \ldots, X_n\}$ は $\text{Geom}(1 - (1 - p_1) \cdots (1 - p_n))$ にしたがう。〔最小★〕

超幾何分布

$X$ が $\text{Hyper}(n,\ N,\ K)$ にしたがうとき、 $n - X$ は $\text{Hyper}(n,\ N,\ N - K)$ にしたがう。また、 $K - X$ は $\text{Hyper}(N - n,\ N,\ K)$ にしたがう。〔相補変換★〕^解説

多変量正規分布

$\boldsymbol{X}$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $\boldsymbol{a}$ を $\mathbf{R}^l$ ベクトル（ $l$ は $m$ 以下）、 $\mathbf{B}$ を $\mathbf{R}^{(l, m)}$ 行列（フルランク）として、 $\boldsymbol{a} + \mathbf{B}\boldsymbol{X}^\mathrm{T}$ は $\text{N}(\boldsymbol{a} + \mathbf{B}\boldsymbol{\mu}^\mathrm{T},\ \mathbf{B}\boldsymbol{\Sigma}\mathbf{B}^\mathrm{T})$ にしたがう。〔アフィン変換★〕⁵
標準正規乱数の組をアフィン変換することで、 $\text{N}(\boldsymbol{\mu} = \boldsymbol{a},\ \boldsymbol{\Sigma} = \mathbf{B}\mathbf{B}^\mathrm{T})$ にしたがう乱数を得ることができる。なお、 $\boldsymbol{\Sigma} = \mathbf{B}\mathbf{B}^\mathrm{T}$ を満たすような $\mathbf{B}$ を求める方法には、Cholesky法、固有値分解法などがある。
がに、がに独立にしたがうとき、
- $\boldsymbol{X} + \boldsymbol{Y}$ は $\text{N}(\boldsymbol{\mu}_\boldsymbol{X} + \boldsymbol{\mu}_\boldsymbol{Y},\ \boldsymbol{\Sigma}_\boldsymbol{X} + \boldsymbol{\Sigma}_\boldsymbol{Y})$ にしたがう。〔加法★〕
- $\boldsymbol{X} - \boldsymbol{Y}$ は $\text{N}(\boldsymbol{\mu}_\boldsymbol{X} - \boldsymbol{\mu}_\boldsymbol{Y},\ \boldsymbol{\Sigma}_\boldsymbol{X} + \boldsymbol{\Sigma}_\boldsymbol{Y})$ にしたがう。〔減法★〕
$\boldsymbol{X}_1, \ldots, \boldsymbol{X}_n$ がそれぞれ $\text{N}(\boldsymbol{\mu}_i,\ \boldsymbol{\Sigma}_i)$ に独立にしたがうとき、 $\sum_i \boldsymbol{X}_i$ は $\text{N}(\boldsymbol{\mu}_1 + \cdots + \boldsymbol{\mu}_n,\ \boldsymbol{\Sigma}_1 + \cdots + \boldsymbol{\Sigma}_n)$ にしたがう。〔総和★〕^解説
$\boldsymbol{X}$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $\boldsymbol{X}$ の成分を並べ替えた $\boldsymbol{X}'$ は、 $\boldsymbol{\mu}$ の成分を同様に並べ替えたものを $\boldsymbol{\mu}'$ 、 $\boldsymbol{\Sigma}$ の行・列を同様に並べ替えたものを $\boldsymbol{\Sigma}'$ で表すと、 $\text{N}(\boldsymbol{\mu}',\ \boldsymbol{\Sigma}')$ にしたがう。〔成分の並べ替え★〕
$\boldsymbol{X}$ が $\text{N}(\boldsymbol{\mu}_\boldsymbol{X},\ \boldsymbol{\Sigma}_\boldsymbol{X})$ に、 $\boldsymbol{Y}$ が $\text{N}(\boldsymbol{\mu}_\boldsymbol{Y},\ \boldsymbol{\Sigma}_\boldsymbol{Y})$ に独立にしたがうとき、 $\boldsymbol{X}$ と $\boldsymbol{Y}$ を連結した $(\boldsymbol{X}, \boldsymbol{Y})$ は、 $\boldsymbol{\mu}_\boldsymbol{X}$ と $\boldsymbol{\mu}_\boldsymbol{Y}$ を連結したものを $\boldsymbol{\mu}_{(\boldsymbol{X}, \boldsymbol{Y})}$ 、 $\boldsymbol{\Sigma}_\boldsymbol{X}$ と $\boldsymbol{\Sigma}_\boldsymbol{Y}$ の直和行列すなわち $\left[\begin{smallmatrix}\boldsymbol{\Sigma}_\boldsymbol{X} & \mathbf{O} \\ \mathbf{O} & \boldsymbol{\Sigma}_\boldsymbol{Y}\end{smallmatrix}\right]$ を $\boldsymbol{\Sigma}_{(\boldsymbol{X}, \boldsymbol{Y})}$ で表すと、 $\text{N}(\boldsymbol{\mu}_{(\boldsymbol{X}, \boldsymbol{Y})},\ \boldsymbol{\Sigma}_{(\boldsymbol{X}, \boldsymbol{Y})})$ にしたがう。〔連結★〕⁵
$\boldsymbol{X}$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $\boldsymbol{b}$ を $\mathbf{0}$ でない $\mathbf{R}^m$ ベクトルとして、 $\boldsymbol{b}\boldsymbol{X}^\mathrm{T}$ は $\text{N}(\mu = \boldsymbol{b}\boldsymbol{\mu}^\mathrm{T},\ \sigma^2 = \boldsymbol{b}\boldsymbol{\Sigma}\boldsymbol{b}^\mathrm{T})$ にしたがう。§多変量正規分布#アフィン変換の一例。〔成分の線形和〕
$\boldsymbol{X}$ が $\text{N}(\boldsymbol{\mu},\ \boldsymbol{\Sigma})$ にしたがうとき、 $D^2 = (\boldsymbol{X} - \boldsymbol{\mu})^\mathrm{T}\,\boldsymbol{\Sigma}^{-1}\,(\boldsymbol{X} - \boldsymbol{\mu})$ は $\chi^2(\nu = m)$ にしたがう。〔Mahalanobis平方距離〕⁶
$D^2$ の正の平方根は $\boldsymbol{\mu}$ からのMahalanobis距離である。

標準多変量正規分布

$\boldsymbol{X}$ が $\text{N}(\mathbf{0},\ \mathbf{I}_m)$ にしたがうとき、 $\mathbf{B}$ を $m$ 次の直交行列として、 $\mathbf{B}\boldsymbol{X}^\mathrm{T}$ は $\text{N}(\mathbf{0},\ \mathbf{I}_m)$ にしたがう。〔直交変換★〕
この変換は分布を保つ。標準多変量正規分布が等方的で球対称なことを意味する。
$\boldsymbol{X}$ が $\text{N}(\mathbf{0},\ \mathbf{I}_m)$ にしたがうとき、 $\lVert\boldsymbol{X}\rVert$ を $\boldsymbol{X}$ のユークリッド長さとすると、 $\frac{\boldsymbol{X}}{\lVert\boldsymbol{X}\rVert}$ は単位球面上の一様分布にしたがう。〔正規化〕

ディリクレ分布

$\boldsymbol{X}$ が $\text{Dirichlet}(\boldsymbol{\alpha})$ にしたがうとき、 $\boldsymbol{X}$ の成分を並べ替えた $\boldsymbol{X}'$ は、 $\boldsymbol{\alpha}$ の成分を同様に並べ替えたものを $\boldsymbol{\alpha}'$ で表すと、 $\text{Dirichlet}(\boldsymbol{\alpha}')$ にしたがう。〔成分の並べ替え★〕

多項分布

$\boldsymbol{X}_1, \ldots, \boldsymbol{X}_n$ がそれぞれ $\text{Mult}(n_i,\ \boldsymbol{p})$ に独立にしたがうとき、 $\sum_i \boldsymbol{X}_i$ は $\text{Mult}(n_1 + \cdots + n_n,\ \boldsymbol{p})$ にしたがう。極限の場合§多項分布#多変量正規近似も参照。〔総和★〕
$\boldsymbol{X}$ が $\text{Mult}(n,\ \boldsymbol{p})$ にしたがうとき、 $\boldsymbol{X}$ の成分を並べ替えた $\boldsymbol{X}'$ は、 $\boldsymbol{p}$ の成分を同様に並べ替えたものを $\boldsymbol{p}'$ で表すと、 $\text{Mult}(n,\ \boldsymbol{p}')$ にしたがう。〔成分の並べ替え★〕

カテゴリ分布

$\boldsymbol{X}_1, \ldots, \boldsymbol{X}_n$ が同一の $\text{Cat}(\boldsymbol{p})$ に独立にしたがうとき、 $\sum_i \boldsymbol{X}_i$ は $\text{Mult}(n,\ \boldsymbol{p})$ にしたがう。極限の場合§多項分布#多変量正規近似も参照。〔総和〕
$\boldsymbol{X}$ が $\text{Cat}(\boldsymbol{p})$ にしたがうとき、 $\boldsymbol{X}$ の成分を並べ替えた $\boldsymbol{X}'$ は、 $\boldsymbol{p}$ の成分を同様に並べ替えたものを $\boldsymbol{p}'$ で表すと、 $\text{Cat}(\boldsymbol{p}')$ にしたがう。〔成分の並べ替え★〕

多変量超幾何分布

$\boldsymbol{X}$ が $\text{Hyper}(n,\ N,\ \boldsymbol{K})$ にしたがうとき、 $\boldsymbol{K} - \boldsymbol{X}$ は $\text{Hyper}(N - n,\ N,\ \boldsymbol{K})$ にしたがう。〔相補変換★〕^解説
$\boldsymbol{X}$ が $\text{Hyper}(n,\ N,\ \boldsymbol{K})$ にしたがうとき、 $\boldsymbol{X}$ の成分を並べ替えた $\boldsymbol{X}'$ は、 $\boldsymbol{K}$ の成分を同様に並べ替えたものを $\boldsymbol{K}'$ で表すと、 $\text{Hyper}(n,\ N,\ \boldsymbol{K}')$ にしたがう。〔成分の並べ替え★〕

Kyle Siegrist. "The Exponential Distribution". Random.
"Box–Muller transform". Wikipedia.
Arnold et al. A First Course in Order Statistics. SIAM, 2008.
"Inverse transform sampling". Wikipedia.
Kyle Siegrist. "The Multivariate Normal Distribution". Random.
Joram Soch. "Relationship between multivariate normal distribution and chi-squared distribution". The Book of Statistical Proofs.

2023-01-16

特別な場合と極限の場合 - 確率分布チートシート

数学・統計学

自サイト（HTML版）からの転載です。

特別な場合
極限の場合

特別な場合

正規分布の関連分布

正規分布で $\mu = 0,\ \sigma^2 = 1$ の場合は、標準正規分布である。変換§正規分布#標準化も参照。〔標準正規分布〕

指数分布とガンマ分布の関連分布

指数分布で $\lambda = 1$ の場合は、標準指数分布である。変換§指数分布#標準化も参照。〔標準指数分布〕
ガンマ分布で $\alpha = 1$ の場合は、指数分布である。 $\text{Gamma}(1,\ \beta)$ は $\text{Exp}(\lambda = \beta)$ と等しい。〔ガンマ分布と指数分布〕
ガンマ分布で $\beta = \frac{1}{2}$ の場合は、カイ2乗分布である。 $\text{Gamma}\!\left(\alpha,\ \frac{1}{2}\right)$ は $\chi^2(\nu = 2\alpha)$ と等しい。〔ガンマ分布とカイ2乗分布〕
カイ2乗分布で $\nu = 2$ の場合は、指数分布である。 $\chi^2(2)$ は $\text{Exp}\!\left(\frac{1}{2}\right)$ と等しい。〔カイ2乗分布と指数分布〕

一様分布とベータ分布の関連分布

一様分布で $a = 0,\ b = 1$ の場合は、標準一様分布である。変換§一様分布#標準化も参照。〔標準一様分布〕
ベータ分布で $\alpha = 1,\ \beta = 1$ の場合は、標準一様分布である。 $\text{Beta}(1,\ 1)$ は $\text{U}(0,\ 1)$ と等しい。〔ベータ分布と標準一様分布〕

コーシー分布の関連分布

コーシー分布で $x_0 = 0,\ \gamma = 1$ の場合は、標準コーシー分布である。変換§コーシー分布#標準化も参照。〔標準コーシー分布〕
t分布で $\nu = 1$ の場合は、標準コーシー分布である。 $t(1)$ は $\text{Cauchy}(0,\ 1)$ と等しい。〔t分布と標準コーシー分布〕

二項分布の関連分布

二項分布で $n = 1$ の場合は、ベルヌーイ分布である。 $\text{B}(1,\ p)$ は $\text{Bernoulli}(p)$ と等しい。〔二項分布とベルヌーイ分布〕
超幾何分布で $n = 1$ の場合は、ベルヌーイ分布である。 $\text{Hyper}(1,\ N,\ K)$ は $\text{Bernoulli}\!\left(p = \frac{K}{N}\right)$ と等しい。〔超幾何分布とベルヌーイ分布〕

負の二項分布の関連分布

負の二項分布で $r = 1$ の場合は、幾何分布である。 $\text{NB}(1,\ p)$ は $\text{Geom}(p)$ と等しい。〔負の二項分布と幾何分布〕

多変量正規分布の関連分布

多変量正規分布で $\boldsymbol{\mu} = \mathbf{0},\ \boldsymbol{\Sigma} = \mathbf{I}_m$ の場合は、標準多変量正規分布である。〔標準多変量正規分布〕

多項分布の関連分布

多項分布で $n = 1$ の場合は、カテゴリ分布である。 $\text{Mult}(1,\ \boldsymbol{p})$ は $\text{Cat}(\boldsymbol{p})$ と等しい。〔多項分布とカテゴリ分布〕
多変量超幾何分布で $n = 1$ の場合は、カテゴリ分布である。 $\text{Hyper}(1,\ N,\ \boldsymbol{K})$ は $\text{Cat}\!\left(\boldsymbol{p} = \frac{\boldsymbol{K}}{N}\right)$ と等しい。〔多変量超幾何分布とカテゴリ分布〕

極限の場合

カイ2乗分布

でが大きくなるにつれて、
- $X$ の分布は $\text{N}(\mu = \nu,\ \sigma^2 = 2\nu)$ に近づく。〔正規近似〕¹
- $\frac{X - \nu}{\sqrt{2\nu}}$ の分布は $\text{N}(0,\ 1)$ に近づく。〔標準正規近似〕
- $\sqrt{2X} - \sqrt{2\nu - 1}$ の分布は $\text{N}(0,\ 1)$ に近づく。〔Fisherの近似〕²
  平方根変換によって分布の非対称性が改善されるため、速やかに正規分布に近づく。

t分布

$X \sim t(\nu)$ で $\nu$ が大きくなるにつれて、 $X$ の分布は $\text{N}(0,\ 1)$ に近づく。〔正規近似〕³

F分布

$X \sim F(\nu_1,\ \nu_2)$ で $\nu_2$ が大きくなるにつれて、 $\nu_1\,X$ の分布は $\chi^2(\nu_1)$ に近づく。〔カイ2乗近似〕³

ガンマ分布

でが大きくなるにつれて、
- $X$ の分布は $\text{N}\!\left(\mu = \frac{\alpha}{\beta},\ \sigma^2 = \frac{\alpha}{\beta^2}\right)$ に近づく。〔正規近似〕¹
- $\frac{\beta X - \alpha}{\sqrt{\alpha}}$ の分布は $\text{N}(0,\ 1)$ に近づく。〔標準正規近似〕

ベータ分布

$X \sim \text{Beta}(\alpha,\ \beta)$ で $\beta$ が大きくなるにつれて、 $\beta X$ の分布は $\text{Gamma}(\alpha,\ 1)$ に近づく。〔ガンマ近似〕^証明
$X \sim \text{Beta}(\alpha,\ \alpha)$ で $\alpha$ が大きくなるにつれて、 $\sqrt{8\alpha}\left(X - \frac{1}{2}\right)$ の分布は $\text{N}(0,\ 1)$ に近づく。〔正規近似〕^証明

二項分布

でが大きくなるにつれて、
- $X$ の分布は $\text{N}(\mu = np,\ \sigma^2 = npq)$ に近づく。ただし、 $q = 1 - p$ である。〔正規近似〕¹
- $\frac{X - np}{\sqrt{npq}}$ の分布は $\text{N}(0,\ 1)$ に近づく。〔標準正規近似〕
$X \sim \text{B}(n,\ p)$ で、 $np$ が一定のもとで $n$ が大きくなるにつれて、 $X$ の分布は $\text{Poisson}(\lambda = np)$ に近づく。〔ポアソン近似〕³

ポアソン分布

でが大きくなるにつれて、
- $X$ の分布は $\text{N}(\mu = \lambda,\ \sigma^2 = \lambda)$ に近づく。〔正規近似〕¹
- $\frac{X - \lambda}{\sqrt{\lambda}}$ の分布は $\text{N}(0,\ 1)$ に近づく。〔標準正規近似〕

負の二項分布

でが大きくなるにつれて、
- $X$ の分布は $\text{N}\!\left(\mu = \frac{rq}{p},\ \sigma^2 = \frac{rq}{p^2}\right)$ に近づく。ただし、 $q = 1 - p$ である。〔正規近似〕¹
- $\frac{pX - rq}{\sqrt{rq}}$ の分布は $\text{N}(0,\ 1)$ に近づく。〔標準正規近似〕
$X \sim \text{NB}(r,\ p)$ で $p$ が0に向かうにつれて、 $pX$ の分布は $\text{Gamma}(\alpha = r,\ 1)$ に近づく。〔ガンマ近似〕⁴
$X \sim \text{NB}(r,\ p)$ で、 $r\,(1 - p)$ が一定のもとで $r$ が大きくなるにつれて、 $X$ の分布は $\text{Poisson}(\lambda = r\,(1 - p))$ に近づく。〔ポアソン近似〕⁴

幾何分布

$X \sim \text{Geom}(p)$ で $p$ が0に向かうにつれて、 $pX$ の分布は $\text{Exp}(1)$ に近づく。〔指数近似〕^証明

超幾何分布

$X \sim \text{Hyper}(n,\ N,\ K)$ で、 $\frac{K}{N}$ が一定のもとで $N$ が大きくなるにつれて、 $X$ の分布は $\text{B}\!\left(n,\ p = \frac{K}{N}\right)$ に近づく。〔二項近似〕³

多項分布

$\boldsymbol{X} \sim \text{Mult}(n,\ \boldsymbol{p})$ で $n$ が大きくなるにつれて、 $\boldsymbol{X}$ の分布は $\text{N}(\boldsymbol{\mu} = \text{E}(\boldsymbol{X}),\ \boldsymbol{\Sigma} = \text{Var}(\boldsymbol{X}))$ に近づく。〔多変量正規近似〕⁵
$\boldsymbol{X} = (X_1, \ldots, X_m)$ の期待値と共分散行列は以下の式で表される。

期待値: $\text{E}(\boldsymbol{X}) = n\boldsymbol{p}$
共分散行列の対角成分: $\text{Var}(X_i) = np_i\,(1 - p_i)$
共分散行列の非対角成分: $\text{Cov}(X_i, X_j) = -np_i\,p_j$

多変量超幾何分布

$\boldsymbol{X} \sim \text{Hyper}(n,\ N,\ \boldsymbol{K})$ で、 $\frac{\boldsymbol{K}}{N}$ が一定のもとで $N$ が大きくなるにつれて、 $\boldsymbol{X}$ の分布は $\text{Mult}\!\left(n,\ \boldsymbol{p} = \frac{\boldsymbol{K}}{N}\right)$ に近づく。〔多項近似〕⁶

中心極限定理より。
Statistical Methods for Research Workers (1925)が原典か。
Leemis and McQueston. Univariate Distribution Relationships.
John D. Cook. "Notes on the negative binomial distribution" (PDF).
多変量中心極限定理より。
Kyle Siegrist. "The Multivariate Hypergeometric Distribution". Random.

2022-12-25

確率分布チートシートの説明

qiita.com
の25日目の記事です。……の予定でした？

　確率分布の関係をまとめた確率分布チートシートを編集中です！
　……当日ですが、まだ編集中です。進捗は8割くらい？
　体裁が整ってないのと、出典とかをメモから転記する作業が残ってて、もうしばらくかかりそう……。
　アドベントカレンダーには間に合いませんでしたが、年内にはなんとか……？

　完成次第こちらの記事も更新します。

↓ここから追記！

球と球体

円周・球面上の一様分布

球体内の一様分布

成分の平方和

周辺分布

球対称性

座標変換

平面ベクトルの場合

3次元ベクトルの場合

落とし穴：極角と方位角をランダムに選ぶと…

棄却サンプリング・正規化

平面ベクトルの場合

3次元ベクトルの場合

落とし穴：棄却を省略すると…

落とし穴：次元が高くなると…

正規乱数ベクトルを正規化

3次元ベクトルの場合

方法の選択基準

平面または3次元

4次元以上

正規分布Normal Distribution

対数正規分布Lognormal Distribution

カイ2乗分布Chi-Squared Distribution

t分布Student's t-Distribution

F分布F-Distribution

指数分布Exponential Distribution

ガンマ分布Gamma Distribution

一様分布Uniform Distribution

ベータ分布Beta Distribution

コーシー分布Cauchy Distribution

パレート分布Pareto Distribution

二項分布Binomial Distribution

ベルヌーイ分布Bernoulli Distribution

ポアソン分布Poisson Distribution

負の二項分布Negative Binomial Distribution

幾何分布Geometric Distribution

超幾何分布Hypergeometric Distribution

多変量正規分布Multivariate Normal Distribution

ディリクレ分布Dirichlet Distribution

多項分布Multinomial Distribution

カテゴリ分布Categorical Distribution

多変量超幾何分布Multivariate Hypergeometric Distribution

条件付き分布

指数分布

一様分布

パレート分布

二項分布

ポアソン分布

負の二項分布

幾何分布

多変量正規分布

多項分布

多変量超幾何分布

周辺分布

多変量正規分布

ディリクレ分布

多項分布

カテゴリ分布

多変量超幾何分布

合成分布（無条件分布）

二項分布

ベルヌーイ分布

ポアソン分布

多項分布

カテゴリ分布

変換

標準正規分布

対数正規分布

カイ2乗分布

t分布

F分布

指数分布

標準指数分布

ガンマ分布

一様分布

標準一様分布

ベータ分布

コーシー分布

パレート分布

二項分布

正規分布
Normal Distribution

対数正規分布
Lognormal Distribution

カイ2乗分布
Chi-Squared Distribution

t分布
Student's t-Distribution

F分布
F-Distribution

指数分布
Exponential Distribution

ガンマ分布
Gamma Distribution

一様分布
Uniform Distribution

ベータ分布
Beta Distribution

コーシー分布
Cauchy Distribution

パレート分布
Pareto Distribution

二項分布
Binomial Distribution

ベルヌーイ分布
Bernoulli Distribution

ポアソン分布
Poisson Distribution

負の二項分布
Negative Binomial Distribution

幾何分布
Geometric Distribution

超幾何分布
Hypergeometric Distribution

多変量正規分布
Multivariate Normal Distribution

ディリクレ分布
Dirichlet Distribution

多項分布
Multinomial Distribution

カテゴリ分布
Categorical Distribution

多変量超幾何分布
Multivariate Hypergeometric Distribution