正規分布（ガウス分布）と標準正規分布

正規分布

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に対して確率変数\(X:\Omega\rightarrow \mathbb{R} \)が定義されており、その値域が、\begin{equation*}X\left( \Omega \right) =\mathbb{R} \end{equation*}であるものとします。\(\mathbb{R} \)は区間であるため、\(X\)は連続型の確率変数です。その上で、\(X\)の確率分布を描写する確率密度関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)がそれぞれの\(x\in \mathbb{R} \)に対して定める値が、2つの定数\begin{eqnarray*}\mu &\in &\mathbb{R} \\
\sigma &\in &\mathbb{R} _{++}
\end{eqnarray*}を用いて、\begin{equation*}
f_{X}\left( x\right) =\frac{1}{\sqrt{2\pi }}\frac{1}{\sigma }\exp \left( -\frac{1}{2}\frac{\left( x-\mu \right) ^{2}}{\sigma ^{2}}\right)
\end{equation*}という形で表されるものとします。以上の条件が満たされる場合、確率変数\(X\)はパラメーター\(\mu ,\sigma \)の正規分布（normal distribution with parameter \(\mu ,\sigma \)）やガウス分布（Gaussian distribution）にしたがうとなどといい、そのことを、\begin{equation*}X\sim N\left( \mu ,\sigma \right)
\end{equation*}で表記します。実数をゼロで割ることはできないため、定義より、パラメータ\(\sigma \)は正である必要があります。もう一方のパラメータ\(\mu \)は任意です。正規分布の重要性については後述します。

確率変数\(X\)がパラメータ\(\mu ,\sigma \)の正規分布にしたがう場合、後ほど示すように、一方のパラメータ\(\mu \)は\(X\)の期待値と一致し、もう一方のパラメータ\(\sigma \)は\(X\)の標準偏差と一致することが保証されます。つまり、\begin{eqnarray*}E\left( X\right) &=&\mu \\
\sqrt{\mathrm{Var}\left( X\right) } &=&\sigma
\end{eqnarray*}がともに成り立つということです。このような事情を踏まえた上で、\begin{equation*}
X\sim N\left( \mu ,\sigma \right)
\end{equation*}が成り立つことを、\(X\)は平均（期待値）が\(\mu \)で標準偏差が\(\sigma \)の正規分布（normal distribution with mean \(\mu \) with standard deviation）にしたがうと言うこともできます。また、この場合には\(X\)の分散が、\begin{equation*}\mathrm{Var}\left( X\right) =\sigma ^{2}
\end{equation*}となるため、同じことを、\(X\)は平均（期待値）が\(\mu \)で分散が\(\sigma ^{2}\)の正規分布（normal distribution with mean \(\mu \) and variance \(\sigma ^{2}\)）にしたがうと言うこともでき、そのことを、\begin{equation*}X\sim N\left( \mu ,\sigma ^{2}\right)
\end{equation*}で表記します。

正規分布は現実の様々な局面において登場します。

標準正規分布

確率変数\(X\)がパラメータ\(0,1\)の正規分布にしたがう場合には、すなわち、\begin{eqnarray*}X &\sim &N\left( 0,1\right) \\
&=&N\left( 0,1^{2}\right)
\end{eqnarray*}である場合には、\(X\)は標準正規分布（standard normal distribution）にしたがうと言います。この場合、\(X\)の値域は、\begin{equation*}X\left( \Omega \right) =\mathbb{R} \end{equation*}であり、確率密度関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)がそれぞれの\(x\in \mathbb{R} \)に対して定める値は、\begin{eqnarray*}f_{X}\left( x\right) &=&\frac{1}{\sqrt{2\pi }}\frac{1}{1}\exp \left( -\frac{1}{2}\frac{\left( x-0\right) ^{2}}{1^{2}}\right) \quad \because \text{正規分布の定義} \\
&=&\frac{1}{\sqrt{2\pi }}\exp \left( -\frac{1}{2}x^{2}\right)
\end{eqnarray*}となります。

標準正規分布にしたがう確率変数の確率密度関数が確率密度関数としての性質を満たすことを確認しておきます。

以上の命題を利用することにより、一般の正規分布に関する同様の主張を示すことができます。

正規分布の標準化とその利点

確率変数\(X:\Omega \rightarrow \mathbb{R} \)が平均\(\mu \)で分散\(\sigma ^{2}\)の正規分布にしたがうものとします。つまり、\begin{equation*}X\sim N\left( \mu ,\sigma ^{2}\right)
\end{equation*}であるということです。後ほど示すように、この場合には、\begin{eqnarray*}
E\left( X\right) &=&\mu \\
\mathrm{Var}\left( X\right) &=&\sigma ^{2}
\end{eqnarray*}が成り立ちます。そこで、それぞれの\(\omega \in\Omega \)に対して、\begin{equation*}Y\left( \omega \right) =\frac{X\left( \omega \right) -\mu }{\sigma }
\end{equation*}を値として定める新たな確率変数\begin{equation*}
Y:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。つまり、確率変数\(X\)を標準化することにより得られる確率変数が\(Y\)であるため、この場合、\begin{eqnarray*}E\left( Y\right) &=&0 \\
\mathrm{Var}\left( Y\right) &=&1
\end{eqnarray*}が成り立ちます。以上の事実に加えて、\(Y\)もまた正規分布にしたがうこと、すなわち、\(Y\)は標準正規分布にしたがうことも保証されます。つまり、\begin{equation*}Y\sim N\left( 0,1\right)
\end{equation*}が成り立つということです。

確率変数\(X\)が平均\(\mu \)で分散\(\sigma ^{2}\)の正規分布にしたがう場合、\(X\)を標準化することにより得られる確率変数\(\frac{X-\mu }{\sigma }\)は標準正規分布にしたがうことが明らかになりました。つまり、\begin{equation*}X\sim N\left( \mu ,\sigma ^{2}\right) \Rightarrow \frac{X-\mu }{\sigma }\sim
N\left( 0,1\right)
\end{equation*}が成り立つということです。以上の事実にはどのような有用性があるのでしょうか。

確率変数\(X\)が平均\(\mu \)で分散\(\sigma ^{2}\)の正規分布にしたがうものとします。その上で、確率変数\(X\)が\(a\)以上\(b\)以下の値をとる確率\begin{equation*}P\left( a\leq X\leq b\right)
\end{equation*}を特定しようとしている状況を想定します。このとき、以下の関係\begin{equation*}
a\leq X\leq b\Leftrightarrow \frac{a-\mu }{\sigma }\leq \frac{X-\mu }{\sigma
}\leq \frac{b-\mu }{\sigma }
\end{equation*}が成立するため、先の確率を特定するかわりに、確率変数\(\frac{X-\mu }{\sigma }\)が\(\frac{a-\mu }{\sigma }\)以上\(\frac{b-\mu }{\sigma }\)以下の値をとる確率\begin{equation*}P\left( \frac{a-\mu }{\sigma }\leq \frac{X-\mu }{\sigma }\leq \frac{b-\mu }{\sigma }\right)
\end{equation*}を特定しても一般性は失われません。しかも、確率変数\(\frac{X-\mu }{\sigma }\)は標準正規分布にしたがうことが保証されるため、結局、正規分布に関する問題はいずれも、標準正規分布に関する問題へと変換可能です。したがって、標準正規分布に関する知識さえあれば、どのような正規分布にも対処できます。

正規分布にしたがう確率変数の分布関数

確率変数\(X\)が正規分布にしたがう場合の分布関数は以下の通りです。

上の命題を利用すると、確率変数\(X\)が標準正規分布にしたがう場合の分布関数が得られます。

先に指摘したように、正規分布に関する問題が与えられたとき、確率変数を標準化することにより、与えられた問題を標準正規分布に関する問題へ変換することができます。その上で、標準正規分布に関する問題を解く際には、上の命題で明らかになった分布関数\begin{equation}
F_{X}\left( x\right) =\frac{1}{2}\left[ 1+\mathrm{erf}\left( \frac{x}{\sqrt{2}}\right) \right] \quad \cdots (1)
\end{equation}を利用できます。ただし、\begin{equation}
\mathrm{erf}\left( x\right) =\frac{2}{\sqrt{\pi }}\int_{0}^{x}\exp \left(
-s^{2}\right) ds \quad \cdots (2)
\end{equation}です。具体例を挙げると、確率変数\(X\)が標準正規分布へしたがう状況において、以下の確率\begin{equation*}P\left( a\leq X\leq b\right) =F_{X}\left( b\right) -F_{X}\left( a\right)
\end{equation*}を特定するためには、\(\left( 1\right) ,\left( 2\right) \)にもとづいて\(F\left( a\right) \)および\(F\left( b\right) \)を導出することになります。コンピュータを使える場合には計算は容易ですが、手計算の場合、ことあるごとに積分を行い\(F_{X}\left( x\right) \)を計算するのは面倒です。このような事情を踏まえた上で、標準正規分布にしたがう確率変数\(X\)の分布関数\(F_{X}\)の値を特定する際には、標準正規分布表（standard normal distribution table）と呼ばれる早見表を利用することが慣習となっています。

正規分布にしたがう確率変数の期待値

確率変数\(X\)が正規分布にしたがう場合の期待値は以下の通りです。

上の命題を利用すると、確率変数\(X\)が標準正規分布にしたがう場合の期待値が得られます。

正規分布にしたがう確率変数の分散

確率変数\(X\)が正規分布にしたがう場合の分散は以下の通りです。

上の命題を利用すると、確率変数\(X\)が標準正規分布にしたがう場合の分散が得られます。

正規分布にしたがう確率変数のモーメント母関数

確率変数\(X\)が正規分布にしたがう場合のモーメント母関数は以下の通りです。

上の命題を利用すると、確率変数\(X\)が標準正規分布にしたがう場合のモーメント母関数が得られます。

正規分布の重要性（中心極限定理）

ある試行を繰り返し行う状況を想定し、各回の結果を確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \)として表現します。つまり、\begin{equation*}X_{n}:n\text{回目の試行の結果}
\end{equation*}です。確率変数\(X_{1},X_{2},\cdots \)は独立同一分布（i.d.d.）にしたがうものとします。つまり、確率変数\(X_{1},X_{2},\cdots \)は独立であるとともに、同一の確率分布にしたがうということです。言い換えると、各回の試行は独立しており、各回の結果は同一の確率分布にもとづいて決まるということです。加えて、任意の確率変数\(X_{n}\)の期待値と分散\begin{eqnarray*}E\left( X_{n}\right) &:&n\text{回目の試行の結果の期待値} \\
\mathrm{Var}\left( X_{n}\right) &:&n\text{回目の試行の結果の分散}
\end{eqnarray*}が有限な実数として定まるものとします。確率変数\(X_{1},X_{2},\cdots \)は独立同一分布にしたがうため、\begin{eqnarray*}&&\left( a\right) \ \exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu \\
&&\left( b\right) \ \exists \sigma ^{2}\in \mathbb{R} ,\ \forall n\in \mathbb{N} :\mathrm{Var}\left( X_{n}\right) =\sigma ^{2}
\end{eqnarray*}が成り立ちます。つまり、すべての確率変数\(X_{1},X_{2},\cdots \)が同一の期待値\(\mu \)と分散\(\sigma ^{2}\)を共有するということです。\(\mu \)を母平均と呼び、\(\sigma ^{2}\)を母分散と呼びます。以上の条件が満たされるのであれば、確率変数\(X_{1},X_{2},\cdots \)がしたがう確率分布の種類は何でもよく、正規分布ではなくても構いません。

以上の状況において、それぞれの\(\omega \in \Omega \)に対して、\begin{eqnarray*}\overline{X}_{n}\left( \omega \right) &=&\frac{X_{1}\left( \omega \right)
+\cdots +X_{n}\left( \omega \right) }{n} \\
&=&\text{試行を}n\text{回行った場合の結果の平均}
\end{eqnarray*}を値として定める確率変数\begin{equation*}
\overline{X}_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義し、これを標本平均と呼びます。その上で、試行回数\(n\)を限りなく増やした場合、標本平均\(\overline{X}_{n}\)の確率分布は平均が母平均\(\mu \)であり、分散が母分散\(\sigma ^{2}\)であるような正規分布に限りなく近づくことが証明されます。つまり、\(n\)を限りなく大きくした場合には、以下の関係\begin{equation*}\overline{X}_{n}\sim N\left( \mu ,\frac{\sigma ^{2}}{n}\right)
\end{equation*}が近似的に成立するということです。これを中心極限定理（central limit theorem）と呼びます。つまり、試行回数\(n\)を限りなく増やした場合、試行を\(n\)回行った場合の結果の平均\(\overline{X}_{n}\)がしたがう確率分布は、平均が母平均\(\mu \)であり、分散が母分散\(\sigma ^{2}\)であるような正規分布に限りなく近づきます。このような事情もあり、多くの場合、平均値の統計においては正規分布を仮定します。中心極限定理に関する厳密な議論は場を改めて行います。