確率変数列の独立性
問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)が与えられたとき、2つの確率変数\begin{eqnarray*}X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}が独立であることを、\begin{equation*}
\forall A,B\subset \mathbb{R} :P\left( \left( X,Y\right) \in A\times B\right) =P\left( X\in A\right) \cdot
P\left( X\in B\right)
\end{equation*}が成り立つこととして定義しました。これは、任意の集合\(A,B\subset \mathbb{R} \)に対して「確率変数\(X\)の値が集合\(A\)に属する」という事象と「確率変数\(Y\)の値が集合\(B\)に属する」という事象が独立であることを意味します。さらに、以上の定義を拡張することにより、有限\(N\)個の確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{N}:\Omega \rightarrow \mathbb{R} \end{gather*}が独立であることを、\begin{equation*}
\forall A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \forall J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) =\prod_{n\in J}P\left( X_{n}\in
A_{n}\right)
\end{equation*}が成り立つこととして定義しました。以上を踏まえた上で、確率変数列が独立であることの意味を定義します。
問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)に加えて、標本空間\(\Omega \)を定義域として共有する確率変数列\(\left\{ X_{n}\right\} \)が与えられているものとします。つまり、この確率変数列\(\left\{ X_{n}\right\} \)の一般項は\(\Omega \)上に定義された確率変数\begin{equation*}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}です。確率変数列\(\left\{X_{n}\right\} \)は無限個の確率変数の並び\begin{equation*}X_{1},X_{2},\cdots ,X_{n},\cdots
\end{equation*}ですが、この中から有限個の確率変数を任意に選んだときに、それらが独立であることが保証される場合には、もとの確率変数列\(\left\{ X_{n}\right\} \)は独立（independent）であると言います。では、確率変数列\(\left\{ X_{n}\right\} \)から「有限個の確率変数を任意に選ぶ」場合の選び方をすべて網羅するためにはどのように考えればよいでしょうか。まずは、\(\left\{ X_{n}\right\} \)から選んでくる確率変数の個数\(N\in \mathbb{N} \)によって場合を分ける必要があります。確率変数の個数\(N\)が決まったら、次は\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)として何を選ぶかによって場合を分ける必要があります。その上で、選んだ\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)が独立であることが保証されるのであれば、もとの確率変数列\(\left\{ X_{n}\right\} \)は独立です。
改めて整理すると、確率変数列\(\left\{ X_{n}\right\} \)が独立であることとは、自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選んだときに、\begin{equation*}\forall A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \forall J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) =\prod_{n\in J}P\left( X_{n}\in
A_{n}\right)
\end{equation*}が成り立つこととして定義されます。以上が確率変数列の独立性の厳密な定義です。
逆に、確率変数列\(\left\{X_{n}\right\} \)が独立ではないこととは、何らかの自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)のもとで、\begin{equation*}\exists A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \exists J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) \not=\prod_{n\in J}P\left( X_{n}\in
A_{n}\right)
\end{equation*}が成り立つことを意味します。この場合、確率変数列\(\left\{ X_{n}\right\} \)は従属（dependent）であると言います。
離散型の確率変数列の独立性
問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)に加えて、標本空間\(\Omega \)を定義域として共有する離散型の確率変数列\(\left\{X_{n}\right\} \)が与えられているものとします。つまり、この確率変数列\(\left\{ X_{n}\right\} \)の一般項は\(\Omega \)上に定義された確率変数\begin{equation*}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}であるとともに、その値域\begin{equation*}
X_{n}\left( \Omega \right)
\end{equation*}は有限集合または可算集合であるということです。
自然数\(N\in \mathbb{N} \)を任意に選んだ上で、確率変数列\(\left\{ X_{n}\right\} \)から有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)を任意に選びます。これらの確率変数の確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}
\end{equation*}の同時確率分布が同時確率質量関数\begin{equation*}
f_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{N}\right) \)の値がベクトル\(\left( x_{1},\cdots ,x_{N}\right) \in \mathbb{R} ^{N}\)と一致する確率は、\begin{equation*}P\left( X_{1}=x_{1}\wedge \cdots \wedge X_{N}=x_{N}\right) =f_{X_{1}\cdots
X_{N}}\left( x_{1},\cdots ,x_{N}\right)
\end{equation*}であり、確率ベクトル\(\left( X_{1},\cdots ,X_{N}\right) \)の値が集合\(A_{1}\times \cdots \times A_{N}\subset \mathbb{R} ^{N}\)に属する確率は、\begin{equation*}P\left( \left( X_{1},\cdots ,X_{N}\right) \in A_{1}\times \cdots \times
A_{N}\right) =\sum_{\left( x_{1},\cdots ,x_{N}\right) \in A_{1}\times \cdots
\times A_{N}}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right)
\end{equation*}であるということです。同時確率質量関数\(f_{X_{1}\cdots X_{N}}\)を周辺化することにより個々の確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{N}:\Omega \rightarrow \mathbb{R} \end{gather*}の周辺確率分布を描写する周辺確率質量関数\begin{gather*}
f_{X_{1}}:\mathbb{R} \rightarrow \mathbb{R} \\
\vdots \\
f_{X_{N}}:\mathbb{R} \rightarrow \mathbb{R} \end{gather*}がそれぞれ得られます。周辺確率質量関数の定義より、集合\(A_{1},\cdots ,A_{N}\subset \mathbb{R} \)を任意に選んだとき、\begin{gather*}P\left( X_{1}\in A_{1}\right) =\sum_{x_{1}\in A_{1}}f_{X_{1}}\left(
x_{1}\right) \\
\vdots \\
P\left( X_{N}\in A_{N}\right) =\sum_{x_{N}\in A_{N}}f_{X_{N}}\left(
x_{N}\right)
\end{gather*}が成り立つことに注意してください。
先に定義したように、確率変数列\(\left\{ X_{n}\right\} \)が独立であることは、自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選んだときに、\begin{equation*}\exists A_{1},\cdots ,A_{N}\subset \mathbb{R} ,\ \exists J\subset \left\{ 1,\cdots ,N\right\} :P\left( \left( X_{n}\right)
_{n\in J}\in \prod_{n\in J}A_{n}\right) \not=\prod_{n\in J}P\left( X_{n}\in
A_{n}\right)
\end{equation*}が成り立つこととして定義されますが、\(\left\{ X_{n}\right\} \)が離散型である場合、これが独立であることを確率質量関数を用いて以下のように表現できます。
x_{1}\right) \times \cdots \times f_{X_{N}}\left( x_{N}\right)
\end{equation*}が成り立つことは、\(\left\{ X_{n}\right\} \)が独立であるための必要十分条件である。ただし、\(f_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \)は確率ベクトル\(\left(X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}\)の同時確率質量関数であり、\(f_{X_{i}}:\mathbb{R} \rightarrow \mathbb{R} \ \left( i=1,\cdots ,N\right) \)は個々の確率変数\(X_{i}:\Omega \rightarrow \mathbb{R} \)の周辺確率質量関数である。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目に表が出た回数} \\
&=&\left\{
\begin{array}{cc}
1 & \left( if\ \omega _{n}=\text{表}\right) \\
0 & \left( if\ \omega _{n}=\text{裏}\right)
\end{array}\right.
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。以上の確率変数\(X_{n}\)を一般項とする確率変数列\(\left\{ X_{n}\right\} \)が独立であることを示します。自然数\(N\in \mathbb{N} \)および\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)をそれぞれ任意に選びます。確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}
\end{equation*}の値域は、\begin{equation*}
\left( X_{1},\cdots ,X_{N}\right) \left( \Omega \right) =\left\{ 0,1\right\}
^{N}
\end{equation*}です。すべての標本点が同じ程度の確かさで起こり得るのであれば、同時確率質量関数\(f_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x_{1},\cdots,x_{N}\right) \in \mathbb{R} ^{N}\)に対して、\begin{equation}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) =\left\{
\begin{array}{cl}
\frac{1}{2^{N}} & \left( if\ \left( x_{1},\cdots ,x_{N}\right) \in \left(
X_{1},\cdots ,X_{N}\right) \left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (1)
\end{equation}を定めます。それぞれの確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \ \left( n=1,\cdots ,N\right) \)の値域は、\begin{equation*}X_{n}\left( \Omega \right) =\left\{ 0,1\right\}
\end{equation*}であり、\(X_{n}\)の周辺確率質量関数\(f_{X_{n}}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x_{n}\in \mathbb{R} \)に対して、\begin{equation}f_{X_{n}}\left( x_{n}\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ x_{n}\in X_{n}\left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (2)
\end{equation}を定めます。\(\left( x_{1},\cdots,x_{N}\right) \in \mathbb{R} ^{N}\)を任意に選んだとき、\(\left( x_{1},\cdots ,x_{N}\right) \in \left( X_{1},\cdots,X_{N}\right) \left( \Omega \right) \)の場合には、\begin{eqnarray*}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) &=&\frac{1}{2^{N}}\quad \because \left( 1\right) \\
&=&f_{X_{1}}\left( x_{1}\right) \times \cdots \times f_{X_{N}}\left(
x_{N}\right) \quad \because \left( 2\right)
\end{eqnarray*}が成り立ち、\(\left( x_{1},\cdots,x_{N}\right) \not\in \left( X_{1},\cdots,X_{N}\right) \left( \Omega \right) \)の場合には、\begin{eqnarray*}f_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) &=&0\quad \because
\left( 1\right) \\
&=&f_{X_{1}}\left( x_{1}\right) \times \cdots \times f_{X_{N}}\left(
x_{N}\right) \quad \because \left( 2\right)
\end{eqnarray*}が成り立ちます。したがって確率変数列\(\left\{ X_{n}\right\} \)は独立です。
確率変数列は独立であるとは限りません。以下の例より明らかです。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目までに表が出た合計回数} \\
&=&\sum_{i=1}^{n}X_{i}\left( \omega \right)
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。以上の\(X_{n}\)を一般項とする確率変数列\(\left\{ X_{n}\right\} \)は独立ではありません（演習問題）。
分布関数を用いた離散型確率変数列の独立性の表現
離散型の確率変数列の独立性は分布関数を用いて表現することもできます。具体的には以下の通りです。
自然数\(N\in \mathbb{N} \)を任意に選んだ上で、確率変数列\(\left\{ X_{n}\right\} \)の項である有限\(N\)個の確率変数\(X_{1},\cdots ,X_{N}\)を任意に選びます。これらの確率変数の確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}
\end{equation*}の同時確率分布が同時分布関数\begin{equation*}
F_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{N}\right) \)の値がベクトル\(\left( x_{1},\cdots ,x_{N}\right) \in \mathbb{R} ^{N}\)以下である確率は、\begin{eqnarray*}P\left( X_{1}\leq x_{1}\wedge \cdots \wedge X_{N}\leq x_{N}\right)
&=&F_{X_{1}\cdots X_{N}}\left( x_{1},\cdots ,x_{N}\right) \\
&=&\sum_{y_{1}\leq x_{1}}\cdots \sum_{y_{N}\leq x_{N}}f_{X_{1}\cdots
X_{N}}\left( y_{1},\cdots ,y_{N}\right)
\end{eqnarray*}であるということです。同時分布関数\(F_{X_{1}\cdots X_{N}}\)を周辺化することにより個々の確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{N}:\Omega \rightarrow \mathbb{R} \end{gather*}の周辺確率分布を描写する周辺分布関数\begin{gather*}
F_{X_{1}}:\mathbb{R} \rightarrow \mathbb{R} \\
\vdots \\
F_{X_{N}}:\mathbb{R} \rightarrow \mathbb{R} \end{gather*}が得られます。周辺分布関数の定義より、点\(x_{1},\cdots ,x_{N}\in \mathbb{R} \)を任意に選んだとき、\begin{eqnarray*}F_{X_{1}}\left( x_{1}\right) &=&P\left( X_{1}\leq x_{1}\right)
=\sum_{y_{1}\leq x_{1}}f_{X_{1}}\left( y_{1}\right) \\
&&\vdots \\
F_{X_{N}}\left( x_{N}\right) &=&P\left( X_{N}\leq x_{N}\right)
=\sum_{y_{N}\leq x_{N}}f_{X_{N}}\left( y_{N}\right)
\end{eqnarray*}が成り立つことに注意してください。
離散型の確率変数列が独立であることを分布関数を用いて以下のように表現することもできます。
x_{1}\right) \times \cdots \times F_{X_{N}}\left( x_{N}\right)
\end{equation*}が成り立つことは、\(\left\{ X_{n}\right\} \)が独立であるための必要十分条件である。ただし、\(F_{X_{1}\cdots X_{N}}:\mathbb{R} ^{N}\rightarrow \mathbb{R} \)は確率ベクトル\(\left(X_{1},\cdots ,X_{N}\right) :\Omega \rightarrow \mathbb{R} ^{N}\)の同時分布関数であり、\(F_{X_{n}}:\mathbb{R} \rightarrow \mathbb{R} \ \left( n=1,\cdots ,N\right) \)は個々の確率変数\(X_{n}:\Omega \rightarrow \mathbb{R} \)の周辺分布である。
演習問題
\left( 3,1,4,1,\cdots \right)
\end{equation*}のような\(1\)から\(6\)までの整数から構成される無限列として表されます。\(n\)回目に出た目を、\begin{equation*}\omega _{n}\in \left\{ 1,2,3,4,5,6\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ 1,2,3,4,5,6\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目に出た目} \\
&=&\omega _{n}
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。確率変数列\(\left\{ X_{n}\right\} \)が独立であることを示してください。ただし、すべての標本点は等しい確率で起こるものとします。
\left( \text{表},\text{裏},\text{裏},\text{表},\cdots \right)
\end{equation*}のような「表」と「裏」から構成される無限列として表されます。\(n\)回目のコイン投げの結果を、\begin{equation*}\omega _{n}\in \left\{ \text{表},\text{裏}\right\}
\end{equation*}と表記するのであれば、それぞれの標本点を、\begin{equation*}
\omega =\left( \omega _{1},\omega _{2},\cdots \right)
\end{equation*}と定式化できます。この試行の標本空間は、\begin{equation*}
\Omega =\left\{ \text{表},\text{裏}\right\} ^{\mathbb{N} }
\end{equation*}です。自然数\(n\in \mathbb{N} \)を任意に選んだ上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{eqnarray*}X_{n}\left( \omega \right) &=&n\text{回目までに表が出た合計回数} \\
&=&\sum_{i=1}^{n}X_{i}\left( \omega \right)
\end{eqnarray*}を定める確率変数\begin{equation*}
X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。確率変数列\(\left\{ X_{n}\right\} \)が独立ではないことを示してください。ただし、すべての標本点は等しい確率で起こるものとします。
プレミアム会員専用コンテンツです
【ログイン】【会員登録】