コルモゴロフの大数の強法則
問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)が与えられている状況を想定します。加えて、標本空間\(\Omega \)上の確率変数列\(\left\{ X_{n}\right\} \)が与えられているものとします。つまり、確率変数列\(\left\{ X_{n}\right\} \)の一般項は\(\Omega \)上に定義された確率変数\begin{equation*}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}です。
確率変数列\(\left\{ X_{n}\right\} \)が与えられれば、自然数\(n\in \mathbb{N} \)を任意に選んだとき、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}\overline{X}_{n}\left( \omega \right) &=&\frac{X_{1}\left( \omega \right)
+\cdots X_{n}\left( \omega \right) }{n} \\
&=&\frac{1}{n}\sum_{i=1}^{n}X_{i}\left( \omega \right)
\end{eqnarray*}を値として定める新たな確率変数\begin{equation*}
\overline{X}_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。この確率変数\(\overline{X}_{n}\)を標本平均（sample mean）やサンプル平均などと呼びます。それぞれの自然数\(n\in \mathbb{N} \)に対して標本平均\(\overline{X}_{n}\)が定義可能であるため、\(\overline{X}_{n}\)を一般項として持つ確率変数列\(\left\{ \overline{X}_{n}\right\} \)が得られることに注意してください。以上を踏まえた上で、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)を定義するもととなった確率変数列\(\left\{ X_{n}\right\} \)が以下の2つの条件を満たすものとします。
1つの条件は、確率変数列\(\left\{ X_{n}\right\} \)が独立同一分布（i.d.d.）にしたがうということです。つまり、確率変数列\(\left\{ X_{n}\right\} \)は独立であるとともに、その要素であるすべての確率変数\(X_{1},X_{2},\cdots \)が同一の確率分布にしたがう状況を想定します。
2つ目の条件は、確率変数列\(\left\{ X_{n}\right\} \)の要素であるすべての確率変数\(X_{1},X_{2},\cdots \)の期待値がいずれも有限な実数として定まるということです。独立同一分布を想定しているため、以上の想定のもとでは、すべての確率変数\(X_{1},X_{2},\cdots \)が同一の期待値を共有することになります。つまり、\begin{equation*}\exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu
\end{equation*}が成り立つということです。この期待値\(\mu \)を母平均（population mean）と呼びます。
母平均\(\mu \)が有限な実数として定まるため、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{equation*}\mu \left( \omega \right) =\mu
\end{equation*}を値として定める定数型の確率変数\(\mu :\Omega\rightarrow \mathbb{R} \)が定義可能です。標本平均の列\(\left\{ \overline{X}_{n}\right\} \)が母平均に相当する確率変数\(\mu \)へ概収束すること、すなわち、\begin{equation*}\overline{X}_{n}\overset{a.s.}{\rightarrow }\mu
\end{equation*}が成り立つこととは、\begin{equation*}
P\left( \left\{ \omega \in \Omega \ |\ \lim_{n\rightarrow \infty }\overline{X}_{n}\left( \omega \right) =\mu \right\} \right) =1
\end{equation*}が成り立つことを意味します。つまり、ほとんどすべての標本点\(\omega \in \Omega \)について、\(\omega \)が実現した場合に、\(n\)を限りなく大きくすれば標本平均\(\overline{X}_{n}\left( \omega \right) \)は母平均\(\mu \)に限りなく近づくということです。では、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は母平均に相当する確率変数\(\mu \)に概収束するのでしょうか。
問題となっている事象\begin{equation*}
\left\{ \omega \in \Omega \ |\ \lim_{n\rightarrow \infty }\overline{X}_{n}\left( \omega \right) =\mu \right\}
\end{equation*}すなわち、\begin{equation*}
\left\{ \omega \in \Omega \ |\ \lim_{n\rightarrow \infty }\frac{X_{1}\left(
\omega \right) +\cdots X_{n}\left( \omega \right) }{n}=\mu \right\}
\end{equation*}はもとの確率変数列\(\left\{ X_{n}\right\} \)の末尾事象であるため（演習問題）、コルモゴロフの0-1法則より、確率変数列\(\left\{ X_{n}\right\} \)が独立である場合、その確率\begin{equation*}P\left( \left\{ \omega \in \Omega \ |\ \lim_{n\rightarrow \infty }\frac{X_{1}\left( \omega \right) +\cdots X_{n}\left( \omega \right) }{n}=\mu
\right\} \right)
\end{equation*}すなわち、\begin{equation*}
P\left( \left\{ \omega \in \Omega \ |\ \lim_{n\rightarrow \infty }\overline{X}_{n}\left( \omega \right) =\mu \right\} \right)
\end{equation*}が\(0\)または\(1\)のどちらか一方に定まることが保証されます。ただ、コルモゴロフの0-1法則は、この確率が\(0\)または\(1\)のどちらか一方に定まることを教えてくれるものの、その確率が\(0\)と\(1\)のどちらであるか判定する基準までは与えてくれません。ただし、確率変数列\(\left\{ X_{n}\right\} \)が先の2つの条件を満たす場合には、この確率が\(1\)になることが確定します。つまり、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は母平均に相当する確率変数\(\mu \)へ概収束するということです。これを大数の強法則（strong law of large numbers）やコルモゴロフの大数の弱法則（Kolmogorov’s strong law of large numbers）などと呼びます。以下で順番に証明します。
コルモゴロフの大数の強法則の証明
まずは、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)が母平均に相当する確率変数\(\mu \)へ概収束するための十分条件を示します。証明ではヒンチン＝コルモゴロフの収束定理とクロネッカーの補題を利用します。
+\cdots X_{n}\left( \omega \right) }{n}
\end{equation*}を定める。以下の条件\begin{eqnarray*}
&&\left( a\right) \ \left\{ X_{n}\right\} \text{は独立} \\
&&\left( b\right) \ \forall n\in \mathbb{N} :E\left( X_{n}^{2}\right) <+\infty \\
&&\left( c\right) \ \exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu
\end{eqnarray*}が成り立つものとする。その上で、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\mu \left( \omega \right) =\mu
\end{equation*}を定める確率変数\(\mu :\Omega\rightarrow \mathbb{R} \)を定義する。加えて、\begin{equation*}\left( d\right) \ \sum_{n=1}^{+\infty }\frac{\mathrm{Var}\left( X_{n}\right) }{n^{2}}<+\infty
\end{equation*}が成り立つものとする。以上の諸条件が満たされる場合には、\begin{equation*}
\overline{X}_{n}\overset{a.s.}{\rightarrow }\mu
\end{equation*}が成り立つ。つまり、\(\left\{ \overline{X}_{n}\right\} \)は\(\mu \)へ概収束する。
以上の命題を踏まえた上で、大数の強法則を示します。
+\cdots X_{n}\left( \omega \right) }{n}
\end{equation*}を定める。さらに、\(\left\{ X_{n}\right\} \)は独立同一分布にしたがうとともに、\begin{equation*}\exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu
\end{equation*}が成り立つものとする。その上で、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\mu \left( \omega \right) =\mu
\end{equation*}を定める確率変数\(\mu :\Omega\rightarrow \mathbb{R} \)を定義する。以上の条件のもとでは、\begin{equation*}\overline{X}_{n}\overset{a.s.}{\rightarrow }\mu
\end{equation*}が成り立つ。つまり、\(\left\{ \overline{X}_{n}\right\} \)は\(\mu \)へ概収束する。
コルモゴロフの大数の強法則の意味
ある試行を繰り返し行う状況を想定し、各回の結果を確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \)として表現します。つまり、\begin{equation*}X_{n}:n\text{回目の試行の結果}
\end{equation*}です。確率変数\(X_{n}\)がしたがう確率分布が明らかである場合、そこから期待値\begin{equation*}E\left( X_{n}\right) :n\text{回目の試行の結果の期待値}
\end{equation*}を特定できます。各回の結果が同一の確率分布にしたがって決まる場合には、\begin{equation*}
\exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu
\end{equation*}が成り立ちます。\(\mu \)は母平均です。加えて、各回の試行が独立であるものとします。標本平均に相当する確率変数\(\overline{X}_{n}:\Omega\rightarrow \mathbb{R} \)がそれぞれの\(\omega \in \Omega \)に対して定める値は、\begin{eqnarray*}\overline{X}_{n} &=&\frac{X_{1}\left( \omega \right) +\cdots +X_{n}\left(
\omega \right) }{n} \\
&=&\text{試行を}n\text{回行った場合の結果の平均}
\end{eqnarray*}ですが、以上の条件が満たされる場合にはコルモゴロフの大数の強法則を適用できるため、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は確率変数\(\mu \)へ概収束します。つまり、\begin{equation*}\forall \omega \in \Omega :P\left( \left\{ \omega \in \Omega \ |\
\lim_{n\rightarrow \infty }\overline{X}_{n}\left( \omega \right) =\mu
\right\} \right) =1
\end{equation*}が成り立つということです。以上の事実は、ほぼ確実に、試行回数\(n\)を限りなく増やした場合、試行を\(n\)回行った場合の結果の平均\(\overline{X}_{n}\left( \omega \right) \)が、各回の試行の結果の期待値に相当する母平均\(\mu \)に限りなく近づくことを意味します。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目に表が出た回数} \\
&=&\left\{
\begin{array}{cc}
1 & \left( if\ \omega _{n}=\text{表}\right) \\
0 & \left( if\ \omega _{n}=\text{裏}\right)
\end{array}\right.
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義すれば確率変数列\(\left\{ X_{n}\right\} \)が得られます。コインに偏りがないものと仮定するのであれば、確率質量関数\(f_{X_{n}}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x\in \mathbb{R} \)に対して、\begin{equation*}f_{X_{n}}\left( x\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ x=1\right) \\
\frac{1}{2} & \left( if\ x=0\right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるため、\(X_{n}\)の期待値は、\begin{eqnarray*}E\left( X_{n}\right) &=&1\cdot f_{X_{n}}\left( 1\right) +0\cdot
f_{X_{n}}\left( 0\right) \\
&=&1\cdot \frac{1}{2}+0\cdot \frac{1}{2} \\
&=&\frac{1}{2}
\end{eqnarray*}です。さて、標本平均に相当する確率変数\(\overline{X}_{n}:\Omega \rightarrow \mathbb{R} \)はそれぞれの\(\omega \in \Omega \)に対して、\begin{eqnarray*}\overline{X}_{n} &=&\frac{X_{1}\left( \omega \right) +\cdots +X_{n}\left(
\omega \right) }{n} \\
&=&\text{コインを}n\text{回投げたときに表が出る平均回数}
\end{eqnarray*}を定めます。各回のコイン投げの結果が同一の確率分布にしたがって決まり、なおかつ各回のコイン投げの結果が独立である場合、コルモゴロフの大数の強法則が要求する条件が満たされるため、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は確率変数\(\frac{1}{2}\)へ概収束します。つまり、\begin{equation*}\forall \omega \in \Omega :P\left( \left\{ \omega \in \Omega \ |\
\lim_{n\rightarrow \infty }\overline{X}_{n}\left( \omega \right) =\frac{1}{2}\right\} \right) =1
\end{equation*}が成り立つということです。以上の事実は、コインを投げる回数\(n\)を限りなく増やした場合、ほぼ確実に、コインを\(n\)回投げたときに表が出る平均回数\(\overline{X}_{n}\)が、コインを1回投げたときの結果の期待値である\(\frac{1}{2}\)へ限りなく近づくことを意味します。
演習問題
\omega \right) +\cdots X_{n}\left( \omega \right) }{n}=\mu \right\}
\end{equation*}が確率変数列\(\left\{ X_{n}\right\}_{n\in \mathbb{N} }\)の末尾事象であることを示してください。
プレミアム会員専用コンテンツです
【ログイン】【会員登録】