大数の弱法則（チェビシェフの大数の弱法則）

チェビシェフの大数の弱法則

問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)が与えられている状況を想定します。加えて、標本空間\(\Omega \)上の確率変数列\(\left\{ X_{n}\right\} \)が与えられているものとします。つまり、確率変数列\(\left\{ X_{n}\right\} \)の一般項は\(\Omega \)上に定義された確率変数\begin{equation*}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}です。

確率変数列\(\left\{ X_{n}\right\} \)が与えられれば、自然数\(n\in \mathbb{N} \)を任意に選んだとき、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}\overline{X}_{n}\left( \omega \right) &=&\frac{X_{1}\left( \omega \right)
+\cdots X_{n}\left( \omega \right) }{n} \\
&=&\frac{1}{n}\sum_{i=1}^{n}X_{i}\left( \omega \right)
\end{eqnarray*}を値として定める新たな確率変数\begin{equation*}
\overline{X}_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。この確率変数\(\overline{X}_{n}\)を標本平均（sample mean）やサンプル平均などと呼びます。それぞれの自然数\(n\in \mathbb{N} \)に対して標本平均\(\overline{X}_{n}\)が定義可能であるため、\(\overline{X}_{n}\)を一般項として持つ確率変数列\(\left\{ \overline{X}_{n}\right\} \)が得られることに注意してください。以上を踏まえた上で、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)を定義するもととなった確率変数列\(\left\{ X_{n}\right\} \)が以下の3つの条件を満たすものとします。

1つの条件は、確率変数列\(\left\{ X_{n}\right\} \)の要素であるすべての確率変数が有限な期待値を持つとともに、それらの期待値がすべて一致するということです。つまり、\begin{equation*}\exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu
\end{equation*}が成り立つということです。このような\(\mu \)を母平均（population mean）と呼びます。

2つ目の条件は、確率変数列\(\left\{ X_{n}\right\} \)の要素であるすべての確率変数が有限な分散を持つとともに、それらの分散がすべて一致するということです。つまり、\begin{equation*}\exists \sigma ^{2}\in \mathbb{R} ,\ \forall n\in \mathbb{N} :\mathrm{Var}\left( X_{n}\right) =\sigma ^{2}
\end{equation*}が成り立つということです。このような\(\sigma ^{2}\)を母分散（population variance）と呼びます。

3つ目の条件は、確率変数列\(\left\{ X_{n}\right\} \)の要素である2つの異なる確率変数を任意に選んだとき、それらの共分散が\(0\)になるということです。つまり、\begin{equation*}\forall m,n\in \mathbb{N} \ :\left[ m\not=n\Rightarrow \mathrm{Cov}\left( X_{m},X_{n}\right) =0\right] \end{equation*}が成り立つということです。

条件1より、確率変数列\(\left\{ X_{n}\right\} \)の要素であるすべての確率変数は有限な期待値\(\mu \)を共有するため、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\mu \left( \omega \right) =\mu
\end{equation*}を値として定める確率変数\(\mu :\Omega \rightarrow \mathbb{R} \)が定義されますが、以上の条件が満たされる場合には、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は先の確率変数\(\mu \)へ確率収束することが保証されます。つまり、\begin{equation*}\overline{X}_{n}\overset{p}{\rightarrow }\mu
\end{equation*}が成り立つということです。確率収束の定義より、これは、\begin{equation*}
\forall \varepsilon >0:\lim_{n\rightarrow \infty }P\left( \left\{ \omega \in
\Omega \ |\ \left\vert \overline{X}_{n}\left( \omega \right) -\mu
\right\vert <\varepsilon \right\} \right) =1
\end{equation*}が成り立つことを意味します。つまり、\(n\)を限りなく大きくすれば、ほとんどすべての標本点\(\omega \in \Omega \)において、\(\omega \)が実現した場合の標本平均\(\overline{X}_{n}\left( \omega \right) \)と確率変数\(X_{n}\)の期待値に相当する母平均\(\mu \)の差が限りなく小さくなるということです。言い換えると、\(n\)を限りなく大きくすれば、ほぼ確実に、標本平均\(\overline{X}_{n}\left( \omega \right) \)は母分散\(\mu \)に限りなく近づくということです。これを大数の弱法則（weak law of large numbers）やチェビシェフの大数の弱法則（Chebyshev’s weak law of large numbers）などと呼びます。証明ではチェビシェフの不等式などを利用します。

チェビシェフの大数の弱法則の意味

ある試行を繰り返し行う状況を想定し、各回の結果を確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \)として表現します。つまり、\begin{equation*}X_{n}:n\text{回目の試行の結果}
\end{equation*}です。確率変数\(X_{n}\)がしたがう確率分布が明らかである場合、そこから期待値と分散\begin{eqnarray*}E\left( X_{n}\right) &:&n\text{回目の試行の結果の期待値} \\
\mathrm{Var}\left( X_{n}\right) &:&n\text{回目の試行の結果の分散}
\end{eqnarray*}をそれぞれ特定できます。各回の結果が同一の確率分布にしたがって決まる場合には、\begin{eqnarray*}
&&\left( a\right) \ \exists \mu \in \mathbb{R} ,\ \forall n\in \mathbb{N} :E\left( X_{n}\right) =\mu \\
&&\left( b\right) \ \exists \sigma ^{2}\in \mathbb{R} ,\ \forall n\in \mathbb{N} :\mathrm{Var}\left( X_{n}\right) =\sigma ^{2}
\end{eqnarray*}が成り立ちます。\(\mu \)は母平均であり、\(\sigma ^{2}\)は母分散です。加えて、各回の試行が独立であるものとします。標本平均に相当する確率変数\(\overline{X}_{n}:\Omega\rightarrow \mathbb{R} \)がそれぞれの\(\omega \in \Omega \)に対して定める値は、\begin{eqnarray*}\overline{X}_{n} &=&\frac{X_{1}\left( \omega \right) +\cdots +X_{n}\left(
\omega \right) }{n} \\
&=&\text{試行を}n\text{回行った場合の結果の平均}
\end{eqnarray*}ですが、以上の条件が満たされる場合にはチェビシェフの大数の法則が適用できるため、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は確率変数\(\mu \)へ収束します。つまり、\begin{equation*}\forall \varepsilon >0:\lim_{n\rightarrow \infty }P\left( \left\{ \omega \in
\Omega \ |\ \left\vert \overline{X}_{n}\left( \omega \right) -\mu
\right\vert <\varepsilon \right\} \right) =1
\end{equation*}が成り立つということです。以上の事実は、試行回数\(n\)を限りなく増やした場合、ほぼ確実に、試行を\(n\)回行った場合の結果の平均\(\overline{X}_{n}\left( \omega \right) \)が、各回の試行の結果の期待値に相当する母平均\(\mu \)に限りなく近づくことを意味します。

チェビシェフの大数の弱法則は2乗平均収束についても成り立つ

確率変数列\(\left\{ X_{n}\right\} \)の要素であるすべての確率変数\(X_{1},X_{2},\cdots \)が期待値と分散を共有するとともに、\(\left\{ X_{n}\right\} \)の要素である2つの確率変数どうしの共分散がゼロである場合、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は母平均\(\mu \)に相当する定数確率変数へ確率収束することが明らかになりました。実は、同様の条件のもとで、標本平均の列\(\left\{ \overline{X}_{n}\right\} \)は母平均\(\mu \)に相当する定数確率変数へ2乗平均収束することを示すこともできます。2乗平均収束の定義より、以上の事実は、\begin{equation*}\lim_{n\rightarrow \infty }E\left( \left\vert \overline{X}_{n}-\mu
\right\vert ^{2}\right) =0
\end{equation*}が成り立つことを意味します。これは、\(n\)を限りなく大きくした場合に、標本平均の実現値と母平均の差の\(2\)乗が平均的に\(0\)へ限りなく近づくことを意味します。

一般に、2乗平均収束する確率変数列は確率収束する一方で、確率収束する確率変数列は2乗平均するとは限らないため、以上の主張は、先の命題よりも強い主張です。

演習問題