独立同一分布にしたがう確率変数列
問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)に加えて、標本空間\(\Omega \)を定義域として共有する確率変数列\(\left\{ X_{n}\right\} \)が与えられているものとします。つまり、この確率変数列\(\left\{ X_{n}\right\} \)の一般項は\(\Omega \)上に定義された確率変数\begin{equation*}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}です。確率変数列\(\left\{X_{n}\right\} \)は無限個の確率変数の並び\begin{equation*}X_{1},X_{2},\cdots ,X_{n},\cdots
\end{equation*}ですが、この中から有限個の確率変数を任意に選んだときに、これらが独立であることが保証される場合には、もとの確率変数列\(\left\{ X_{n}\right\} \)は独立であると言います。つまり、確率変数列\(\left\{ X_{n}\right\} \)が独立であることとは、自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選んだときに、\begin{equation*}\forall A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \forall J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) =\prod_{n\in J}P\left( X_{n}\in
A_{n}\right)
\end{equation*}が成り立つこととして定義されます。
一方、確率変数列\(\left\{X_{n}\right\} \)が同一分布にしたがうこととは、この中から有限個の確率変数を任意に選んだときに、それらが同一分布にしたがうこととして定義されます。つまり、確率変数列\(\left\{ X_{n}\right\} \)が同一分布にしたがうこととは、自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選んだときに、\begin{equation*}\forall A\subset \mathbb{R} :P\left( X_{1}\in A\right) =\cdots =P\left( X_{N}\in A\right)
\end{equation*}が成り立つこととして定義されます。
以上を踏まえた上で、確率変数列\(\left\{ X_{n}\right\} \)が独立かつ同一分布にしたがう場合には、すなわち、自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選んだときに、\begin{eqnarray*}&&\left( a\right) \ \forall A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \forall J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) =\prod_{n\in J}P\left( X_{n}\in
A_{n}\right) \\
&&\left( b\right) \ \forall A\subset \mathbb{R} :P\left( X_{1}\in A\right) =\cdots =P\left( X_{N}\in A\right)
\end{eqnarray*}がともに成り立つ場合には、\(\left\{ X_{n}\right\} \)は独立同一分布にしたがう（independent and identically distributed）と言います。英語の頭文字をとって、独立同一分布にしたがうことを、i.i.dやIIDなどと表記するのが慣例です。
独立同一分布にしたがう離散型の確率変数列
問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)に加えて、標本空間\(\Omega \)を定義域として共有する離散型の確率変数列\(\left\{X_{n}\right\} \)が与えられているものとします。つまり、この確率変数列\(\left\{ X_{n}\right\} \)の一般項は\(\Omega \)上に定義された確率変数\begin{equation*}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}であるとともに、その値域\begin{equation*}
X_{n}\left( \Omega \right)
\end{equation*}は有限集合または可算集合であるということです。
自然数\(N\in \mathbb{N} \)を任意に選んだ上で、確率変数列\(\left\{ X_{n}\right\} \)から有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)を任意に選びます。これらの確率変数の確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}
\end{equation*}の同時確率分布が同時確率質量関数\begin{equation*}
f_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{N}\right) \)の値がベクトル\(\left( x_{1},\cdots ,x_{N}\right) \in \mathbb{R} ^{N}\)と一致する確率は、\begin{equation*}P\left( X_{1}=x_{1}\wedge \cdots \wedge X_{N}=x_{N}\right) =f_{X_{1}\cdots
X_{N}}\left( x_{1},\cdots ,x_{N}\right)
\end{equation*}であり、確率ベクトル\(\left( X_{1},\cdots ,X_{N}\right) \)の値が集合\(A_{1}\times \cdots \times A_{N}\subset \mathbb{R} ^{N}\)に属する確率は、\begin{equation*}P\left( \left( X_{1},\cdots ,X_{N}\right) \in A_{1}\times \cdots \times
A_{N}\right) =\sum_{\left( x_{1},\cdots ,x_{N}\right) \in A_{1}\times \cdots
\times A_{N}}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right)
\end{equation*}であるということです。同時確率質量関数\(f_{X_{1}\cdots X_{N}}\)を周辺化することにより個々の確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{N}:\Omega \rightarrow \mathbb{R} \end{gather*}の周辺確率分布を描写する周辺確率質量関数\begin{gather*}
f_{X_{1}}:\mathbb{R} \rightarrow \mathbb{R} \\
\vdots \\
f_{X_{N}}:\mathbb{R} \rightarrow \mathbb{R} \end{gather*}がそれぞれ得られます。周辺確率質量関数の定義より、集合\(A_{1},\cdots ,A_{N}\subset \mathbb{R} \)を任意に選んだとき、\begin{gather*}P\left( X_{1}\in A_{1}\right) =\sum_{x_{1}\in A_{1}}f_{X_{1}}\left(
x_{1}\right) \\
\vdots \\
P\left( X_{N}\in A_{N}\right) =\sum_{x_{N}\in A_{N}}f_{X_{N}}\left(
x_{N}\right)
\end{gather*}が成り立つことに注意してください。
先に定義したように、確率変数列\(\left\{ X_{n}\right\} \)が独立同一分布にしたがうこととは、自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選んだときに、\begin{eqnarray*}&&\left( a\right) \ \forall A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \forall J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) =\prod_{n\in J}P\left( X_{n}\in
A_{n}\right) \\
&&\left( b\right) \ \forall A\subset \mathbb{R} :P\left( X_{1}\in A\right) =\cdots =P\left( X_{N}\in A\right)
\end{eqnarray*}がともに成り立つこととして定義されますが、\(\left\{ X_{n}\right\} \)が離散型である場合、これが同一分布にしたがうことを確率質量関数を用いて以下のように表現できます。
x_{1}\right) \times \cdots \times f_{X_{N}}\left( x_{N}\right) \\
&&\left( b\right) \ \forall x\in \mathbb{R} :f_{X_{1}}\left( x\right) =\cdots =f_{X_{N}}\left( x\right)
\end{eqnarray*}がともに成り立つことは、\(X_{1},\cdots ,X_{N}\)が独立同一分布にしたがうための必要十分条件である。ただし、\(f_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \)は確率ベクトル\(\left(X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}\)の同時確率質量関数であり、\(f_{X_{n}}:\mathbb{R} \rightarrow \mathbb{R} \ \left( n=1,\cdots ,N\right) \)は個々の確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \)の周辺確率質量関数である。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目に表が出た回数} \\
&=&\left\{
\begin{array}{cc}
1 & \left( if\ \omega _{n}=\text{表}\right) \\
0 & \left( if\ \omega _{n}=\text{裏}\right)
\end{array}\right.
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。以上の確率変数\(X_{n}\)を一般項とする確率変数列\(\left\{ X_{n}\right\} \)が独立であることを示します。自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選びます。確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}
\end{equation*}の値域は、\begin{equation*}
\left( X_{1},\cdots ,X_{N}\right) \left( \Omega \right) =\left\{ 0,1\right\}
^{N}
\end{equation*}です。すべての標本点が同じ程度の確かさで起こり得るのであれば、同時確率質量関数\(f_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x_{1},\cdots,x_{N}\right) \in \mathbb{R} ^{N}\)に対して、\begin{equation}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) =\left\{
\begin{array}{cl}
\frac{1}{2^{N}} & \left( if\ \left( x_{1},\cdots ,x_{N}\right) \in \left(
X_{1},\cdots ,X_{N}\right) \left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (1)
\end{equation}を定めます。それぞれの確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \ \left( n=1,\cdots ,N\right) \)の値域は、\begin{equation*}X_{n}\left( \Omega \right) =\left\{ 0,1\right\}
\end{equation*}であり、\(X_{n}\)の周辺確率質量関数\(f_{X_{n}}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x_{n}\in \mathbb{R} \)に対して、\begin{equation}f_{X_{n}}\left( x_{n}\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ x_{n}\in X_{n}\left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (2)
\end{equation}を定めます。\(\left( x_{1},\cdots,x_{N}\right) \in \mathbb{R} ^{N}\)を任意に選んだとき、\(\left( x_{1},\cdots ,x_{N}\right) \in \left( X_{1},\cdots,X_{N}\right) \left( \Omega \right) \)の場合には、\begin{eqnarray*}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) &=&\frac{1}{2^{N}}\quad \because \left( 1\right) \\
&=&f_{X_{1}}\left( x_{1}\right) \times \cdots \times f_{X_{N}}\left(
x_{N}\right) \quad \because \left( 2\right)
\end{eqnarray*}が成り立ち、\(\left( x_{1},\cdots,x_{N}\right) \not\in \left( X_{1},\cdots ,X_{N}\right) \left( \Omega \right) \)の場合には、\begin{eqnarray*}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) &=&0\quad \because
\left( 1\right) \\
&=&f_{X_{1}}\left( x_{1}\right) \times \cdots \times f_{X_{N}}\left(
x_{N}\right) \quad \because \left( 2\right)
\end{eqnarray*}が成り立ちます。したがって確率変数列\(\left\{ X_{n}\right\} \)は独立です。また、\(x\in \mathbb{R} \)を任意に選んだとき、\(\left( 2\right) \)より、\begin{equation*}f_{X_{1}}\left( x\right) =\cdots =f_{X_{N}}\left( x\right)
\end{equation*}が成り立つため、\(\left\{X_{n}\right\} \)は同一分布にしたがうことが明らかになりました。以上より、\(\left\{ X_{n}\right\} \)は独立同一分布にしたがうことが明らかになりました。
確率変数列は独立同一分布にしたがうとは限りません。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目までに表が出た合計回数} \\
&=&\sum_{i=1}^{n}X_{i}\left( \omega \right)
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。以上の\(X_{n}\)を一般項とする確率変数列\(\left\{ X_{n}\right\} \)は独立ではなく同一分布にもしたがいません（演習問題）。
分布関数を用いた離散型確率変数列が独立同一分布にしたがうことの表現
離散型の確率変数列が独立同一分布にしたがうことを分布関数を用いて表現することもできます。具体的には以下の通りです。
自然数\(N\in \mathbb{N} \)を任意に選んだ上で、確率変数列\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)を任意に選びます。これらの確率変数の確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}
\end{equation*}の同時確率分布が同時分布関数\begin{equation*}
F_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{N}\right) \)の値がベクトル\(\left( x_{1},\cdots ,x_{N}\right) \in \mathbb{R} ^{N}\)以下である確率は、\begin{eqnarray*}P\left( X_{1}\leq x_{1}\wedge \cdots \wedge X_{N}\leq x_{N}\right)
&=&F_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) \\
&=&\sum_{y_{1}\leq x_{1}}\cdots \sum_{y_{N}\leq x_{N}}f_{X_{1}\cdots
X_{N}}\left( y_{1},\cdots ,y_{N}\right)
\end{eqnarray*}であるということです。同時分布関数\(F_{X_{1}\cdots X_{N}}\)を周辺化することにより個々の確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{N}:\Omega \rightarrow \mathbb{R} \end{gather*}の周辺確率分布を描写する周辺分布関数\begin{gather*}
F_{X_{1}}:\mathbb{R} \rightarrow \mathbb{R} \\
\vdots \\
F_{X_{N}}:\mathbb{R} \rightarrow \mathbb{R} \end{gather*}が得られます。周辺分布関数の定義より、点\(x_{1},\cdots ,x_{N}\in \mathbb{R} \)を任意に選んだとき、\begin{eqnarray*}F_{X_{1}}\left( x_{1}\right) &=&P\left( X_{1}\leq x_{1}\right)
=\sum_{y_{1}\leq x_{1}}f_{X_{1}}\left( y_{1}\right) \\
&&\vdots \\
F_{X_{N}}\left( x_{N}\right) &=&P\left( X_{N}\leq x_{N}\right)
=\sum_{y_{N}\leq x_{N}}f_{X_{N}}\left( y_{N}\right)
\end{eqnarray*}が成り立つことに注意してください。
離散型の確率変数列が独立同一分布にしたがうことを分布関数を用いて以下のように表現することもできます。
x_{1}\right) \times \cdots \times F_{X_{N}}\left( x_{N}\right) \\
&&\left( b\right) \ \forall x\in \mathbb{R} :F_{X_{1}}\left( x\right) =\cdots =F_{X_{N}}\left( x\right)
\end{eqnarray*}が成り立つことは、\(\left\{ X_{n}\right\} \)が独立同一分布にしたがうための必要十分条件である。ただし、\(F_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \)は確率ベクトル\(\left(X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}\)の同時分布関数であり、\(F_{X_{n}}:\mathbb{R} \rightarrow \mathbb{R} \ \left( n=1,\cdots ,N\right) \)は個々の確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \)の周辺分布である。
演習問題
\left( 3,1,4,1,\cdots \right)
\end{equation*}のような\(1\)から\(6\)までの整数から構成される無限列として表されます。\(n\)回目に出た目を、\begin{equation*}\omega _{n}\in \left\{ 1,2,3,4,5,6\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ 1,2,3,4,5,6\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目に出た目} \\
&=&\omega _{n}
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。確率変数列\(\left\{ X_{n}\right\} \)が独立同一分布にしたがうことを示してください。ただし、すべての標本点は等しい確率で起こるものとします。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目までに表が出た合計回数} \\
&=&\sum_{i=1}^{n}X_{i}\left( \omega \right)
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。確率変数列\(\left\{ X_{n}\right\} \)が独立ではなく同一分布にもしたがわないことを示してください。ただし、すべての標本点は等しい確率で起こるものとします。
プレミアム会員専用コンテンツです
【ログイン】【会員登録】