多変量正規分布

多変量正規分布

確率密度関数 ${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right],{\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$ の多変量正規分布に従う標本点を多数とったもの。3σ を表す楕円、2つの周辺分布、およびそれらの1次元ヒストグラムも同時に示した。
累積分布関数
母数	μ ∈ R^k — 位置 Σ ∈ R^k × k — 分散共分散（半正定値行列）
台	x ∈ μ + span(Σ) ⊆ R^k
確率密度関数	${\displaystyle (2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},}$ 存在するのは Σ が正定値行列であるときに限る。
期待値	μ
最頻値	μ
分散	Σ
エントロピー	${\displaystyle {\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)}$
モーメント母関数	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
特性関数	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$

確率論と統計学において、多変量正規分布（たへんりょうせいきぶんぷ、英: multivariate normal distribution）または多次元正規分布、あるいは結合正規分布（英: joint normal distribution）、もしくはこれらの語で「正規分布」を「ガウス分布」に換えたもの、は1次元の正規分布を高次元へと一般化した確率分布である。ベクトル値確率変数（英語版）が k 変量正規分布に従うとは、それらの k 個の成分（実数値確率変数）の任意の（実係数）線型結合が1変量正規分布に従うことを言う。この分布の重要性は主として、多変数の場合の中心極限定理の分布収束先として現れることによる。多変量正規分布はしばしば、少なくとも近似的に、互いに相関を持ち、平均ベクトルの周辺に値が集中するような確率変数の組を記述するのに用いられる。

記法とパラメータ

k 次元ベクトル値確率変数 ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})}$ が多変量正規分布に従っていることを、次のように記す：

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

もしくは X が k 次元であることを明示して

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

と書くこともある。

ここで k 次元平均ベクトルは

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),}$

であり、${\displaystyle k\times k}$ 分散共分散行列は

${\displaystyle \Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

（ただし ${\displaystyle 1\leq i,j\leq k}$）である。分散共分散行列の逆行列は精度行列（precision matrix）と呼ばれ、${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$ と記す。

定義

標準正規確率変数ベクトル

実数値確率変数から成るベクトル ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ が標準正規確率変数ベクトル（standard normal random vector）であるとは、それらの成分 ${\displaystyle X_{n}}$ が独立であって、いずれも平均 0、分散 1 の正規分布に従っている（全ての ${\displaystyle n}$ に対し、${\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)}$）ことを言う[1]:p. 454。

中心化正規確率変数ベクトル

実数値確率変数から成るベクトル ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ が中心化正規確率変数ベクトル（centered normal random vector）であるとは、 ${\displaystyle k\times \ell }$ 実成分定行列 ${\displaystyle {\boldsymbol {A}}}$ が存在して、${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ が ${\displaystyle \mathbf {X} }$ と同一の確率分布に従うことを言う。ここで ${\displaystyle \mathbf {Z} }$ は ${\displaystyle \ell }$ 次元標準正規確率変数ベクトルである[1]:p. 454。

正規確率変数ベクトル

確率変数ベクトル ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ が正規確率変数ベクトルであるとは、${\displaystyle \ell }$ 成分の標準正規確率変数ベクトル ${\displaystyle \mathbf {Z} }$、${\displaystyle k}$ 次元平均ベクトル ${\displaystyle \mathbf {\mu } }$、および ${\displaystyle k\times \ell }$ 行列 ${\displaystyle {\boldsymbol {A}}}$ があって、 ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$ と書けることを言う[2]:p. 454[1]:p. 455。

形式的に表すと：

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{there exist }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ for }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

このとき共分散行列は ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$ となる。

共分散行列が非正則である（退化している）場合、対応する多変量正規分布は（連続であるような）確率密度関数を持たない。このような事態は統計学ではしばしば起こり、例えば、最小二乗法における残差ベクトルがそうした分布に従うことがある。

また、ここでの成分 ${\displaystyle X_{i}}$ の集まりは一般的には独立な確率変数ではないことに注意する。これらは独立な正規確率変数の集まり ${\displaystyle \mathbf {Z} }$ に行列 ${\displaystyle {\boldsymbol {A}}}$ を作用させたものである。

同値な定義

上記の定義で用いた条件は、以下のいずれの条件とも同値である。ベクトル値確率変数 ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}}$ はこれらのいずれかが成り立つとき、多変量正規分布に従うと言う。

• 任意の線型結合 ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$（${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$ を定ベクトルとして ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$）が（1変量）正規分布に従う。ただし分散が 0 の正規分布とは、その平均の位置に確率 1 の確率質量を持つような確率分布を意味することとする。
• k 成分ベクトル ${\displaystyle \mathbf {\mu } }$ と ${\displaystyle k\times k}$ 対称半正定値行列 ${\displaystyle {\boldsymbol {\Sigma }}}$ が存在して、${\displaystyle \mathbf {X} }$ の特性関数が

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}}$

と書ける。

球面正規分布（spherical normal distribution）とは、どんな直交座標系で表示しても確率変数ベクトルの各成分が独立となるような分布、と特徴付けられる[3][4]。

性質

確率密度関数

2変量正規分布の同時分布

非退化の場合

多変量正規分布が非退化であるとは、共分散行列 ${\displaystyle {\boldsymbol {\Sigma }}}$ が正定値であることである。この場合、分布は次の形の確率密度関数を持つ[5]。

${\displaystyle f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}}$

ここで ${\displaystyle {\mathbf {x} }}$ は実 k 次元列ベクトルで、${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$ は ${\displaystyle {\boldsymbol {\Sigma }}}$ の行列式である。${\displaystyle {\boldsymbol {\Sigma }}}$ が ${\displaystyle 1\times 1}$ 行列（つまり単一の実数）である場合、この式は1変量正規分布の確率密度関数に帰着する。

複素正規分布（英語版）の場合はこれとはわずかに違った形のものになる。

k+1 次元空間内の任意の「等高線」、つまり確率密度関数の値が等しくなるような点の集合は、楕円またはその高次元対応物となる。よって多変量正規分布は楕円分布（英語版）の特別な場合である。

記述統計量 ${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$ はマハラノビス距離として知られ、試験ベクトル ${\displaystyle {\mathbf {x} }}$ と平均ベクトル ${\displaystyle {\boldsymbol {\mu }}}$ との一種の距離を表す。${\displaystyle k=1}$ の場合、これは標準得点の絶対値に帰着する。

2変量の場合

2次元で非退化の場合（k = rank(Σ) = 2）、ベクトル [X Y]′（右肩のダッシュは転置を表す）の確率密度関数は、

${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x-\mu _{X})^{2}}{\sigma _{X}^{2}}}+{\frac {(y-\mu _{Y})^{2}}{\sigma _{Y}^{2}}}-{\frac {2\rho (x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right]\right)}$

となる。ここで ρ は X と Y の相関係数であり、${\displaystyle \sigma _{X}>0}$ かつ ${\displaystyle \sigma _{Y}>0}$ である。このとき、

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}}$

2次元のときは、多変量正規分布であるための同値な条件として挙げた最初の方は、やや緩められる：

可算無限通りの X と Y の線型結合がどれも正規分布に従うならば、ベクトル [X Y]′ は2変量正規分布に従う[6]。

2変数の場合の等高線を x,y-平面にプロットすると楕円になる。相関係数 ρ が大きくなっていくとき、楕円は次の直線：

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

の方向に向かって押しつぶされていく。この背景として、この式の sgn(ρ) （"sgn" は符号関数）を ρ に取り換えたものは、X の値が与えられたときの Y の最良線形不偏予測量（英語版）（best linear unbiased prediction）になっているという性質がある[7]。

結合分布の正規性

正規分布と独立性

確率変数 ${\displaystyle X}$ と ${\displaystyle Y}$ が正規分布に従い、独立であるならば、これらの結合分布は結合正規分布である。つまり、対 ${\displaystyle (X,Y)}$ は2変量正規分布に従う。しかしながら、多変量正規分布に従う確率変数ベクトルの相異なる2成分は独立であるとは限らない。それらが独立であるのは無相関（${\displaystyle \rho =0}$）の場合に限られる。

正規分布に従う確率変数の対は、必ずしも2変量正規分布には従わない

2個の確率変数 ${\displaystyle X}$ と ${\displaystyle Y}$ がいずれも正規分布に従っているとしても、それらの対 ${\displaystyle (X,Y)}$ は必ずしも2変量正規分布には従わない。次のように簡単な例（反例）が構成できる。

• X は標準正規分布（平均 0、分散 1）に従う。
• ある定数 ${\displaystyle c>0}$ があって、${\displaystyle |X|>c}$ ならば ${\displaystyle Y=X}$、${\displaystyle |X|<c}$ ならば ${\displaystyle Y=-X}$

3変数以上の場合も同様に反例が構成できる。一般に、こうした確率変数の和によって混合分布モデル（英語版）が作られる。

相関と独立性

一般に、2個の確率変数が無相関であっても独立であるとは限らない。しかし、確率変数ベクトルが多変量正規分布に従っている場合、その2個以上の成分が互いに無相関であれば、それらは独立である。特に、これらが組ごとに独立（英語版）であれば、独立である。

しかしながら、すぐ上で指摘した例からわかるように、2個の確率変数が正規分布に従い、かつ無相関であるからといって、それらが独立であるとは限らない（X と Y の相関係数が 0 となるよう定数 c を選べばよい）。

周辺分布

多変量正規分布に従う確率変数ベクトルから、その中のいくつかの成分を抜き出した確率変数の組が従う周辺分布を得るには、単に平均ベクトル、分散共分散行列から無関係な成分を除けばよい。これが成り立つことは、多変量正規分布の定義と線形代数によって証明できる[8]。

例

X = [X₁, X₂, X₃] が多変量正規分布に従うとし、平均ベクトルを μ = [μ₁, μ₂, μ₃]、分散共分散行列を Σ とする。 このとき X′ = [X₁, X₃] の周辺分布は再び多変量正規分布であり、その平均ベクトルは μ′ = [μ₁, μ₃]、分散共分散行列は

${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

である。

アフィン変換

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$ で Y = c + BX がそのアフィン変換であるとき（c は ${\displaystyle M\times 1}$ 定ベクトル、B は ${\displaystyle M\times N}$ 定行列）、Y も多変量正規分布に従い、平均ベクトルは c + Bμ、分散共分散行列は BΣB^T である（つまり ${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$）。

特に、成分 X_i たちの任意の部分集合が従う周辺分布は再び多変量正規分布になる。例えば、部分集合 (X₁, X₂, X₄)^T を直接抜き出してくるには、行列

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

を使えばよい。

別の系として、多変量正規分布に従う X と定ベクトル b のドット積をとった Z = b · X は、1変量正規分布に従う（${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$）。

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}}$

と考えればよい。Σ の正定値性（半正定値性）から、ドット積をとった確率変数の分散は正（非負）になる。

X のアフィン変換 2X は、X と同一の分布に従う2個の独立な確率変数の和とは別物である。

母数の推定

確率密度関数が

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

である多変量正規分布に従う大きさ n の標本から、共分散行列を推定することを考える。この場合の最尤推定量は

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\rm {T}}}$

であり、これは単純に標本共分散行列を計算したものである。ただし不偏推定量ではなく、期待値は

${\displaystyle E[{\widehat {\boldsymbol {\Sigma }}}]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}}$

となる。よって

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n-1}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}}$

とすれば不偏推定量になる。多変量正規分布の母数の推定において、フィッシャー情報行列は閉じた式で書け、例えばクラメール・ラオの限界の算出に用いられる。詳細はフィッシャー情報量を参照。

多変量正規分布からのサンプリング

平均ベクトル μ、分散共分散行列 Σ の N 次元正規分布に従う乱数ベクトルを生成する方法として、以下に述べるような手法が広く用いられている[9]。

1. A A^T = Σ となるような実行列 A をどれか1つ見つける。Σ が正定値の場合はコレスキー分解が典型的に用いられるが、（平方根演算を避けた）拡張法は Σ が半正定値であれば必ず通用し、いずれの方法でも適当な行列 A が得られる。別の方法として、Σ のスペクトル分解 Σ = UΛU^−1 を用いて A = UΛ^½ としてもよい。前者は計算論的に率直な手法だが、分布の基となる確率変数の並べ替え（Σ の行・列交換）によって行列 A は異なったものに変化する。一方後者は、このような変換をしても A の成分が並べ直されるだけである。理論上はどちらの手法を使っても行列が同程度に良く求まるが、計算時間には違いが出る。
2. z = (z₁, …, z_N)^T を、標準正規分布に従う N 個の独立な確率変数から成るベクトルとする（このような乱数は例えばボックス＝ミュラー法によって得られる）。
3. x を μ + Az とする。アフィン変換の性質より、このベクトルは所望の分布に従っている。

関連項目

• カイ分布（英語版）：平均0の2変量正規分布に従う確率変数ベクトルのユークリッドノルムの値は、カイ分布に従う。
• コピュラ (統計学)
• 多変量t分布（英語版）：この球面対称的な分布も、多変量解析で広く用いられる。
• 多変量安定分布（英語版）：多変量正規分布を拡張したもので、特性関数における指数の肩が2次式ではなく 0 から 2 までの次数の式となり得る。
• ウィッシャート分布
• 行列正規分布（英語版）

脚注

1. ^ Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. ISBN 978-0-521-19395-5 
2. Gut, Allan (2009). An Intermediate Course in Probability. Springer. ISBN 978-1-441-90161-3 
3. Kac, M. (1939). “On a characterization of the normal distribution”. American Journal of Mathematics 61 (3): 726–728. doi:10.2307/2371328. JSTOR 2371328. 
4. Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). “Characterization of the p-generalized normal distribution”. Journal of Multivariate Analysis 100 (5): 817–820. doi:10.1016/j.jmva.2008.07.006. 
5. UIUC, Lecture 21. The Multivariate Normal Distribution, 21.5:"Finding the Density".
6. Hamedani, G. G.; Tata, M. N. (1975). “On the determination of the bivariate normal distribution from distributions of linear combinations of the variables”. The American Mathematical Monthly 82 (9): 913–915. doi:10.2307/2318494. JSTOR 2318494. 
7. Wyatt, John. “Linear least mean-squared error estimation”. Lecture notes course on applied probability. 23 January 2012閲覧。
8. 周辺分布についての正式な証明は http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html 参照。
9. Gentle, J.E. (2009). Computational Statistics. Statistics and Computing. New York: Springer. pp. 315–316. doi:10.1007/978-0-387-98144-4. ISBN 978-0-387-98143-7. http://cds.cern.ch/record/1639470 

参考文献

• Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley 
• Tong, Y. L. (1990). The multivariate normal distribution. Springer Series in Statistics. New York: Springer-Verlag. doi:10.1007/978-1-4613-9655-0. ISBN 978-1-4613-9657-4