独立同一分布（i.i.d.）にしたがう2つの離散型確率変数

独立同一分布にしたがう2つの確率変数

問題としている試行に関する確率空間\(\left(\Omega ,\mathcal{F},P\right) \)に加えて確率変数\begin{equation*}X:\Omega \rightarrow \mathbb{R} \end{equation*}が与えられている場合、「確率変数\(X\)の値が集合\(A\subset \mathbb{R} \)に属する」という事象は、\(X\left( \omega \right) \in A\)を満たす標本点\(\omega \)からなる集合\begin{equation*}\left\{ \omega \in \Omega \ |\ X\left( \omega \right) \in A\right\}
\end{equation*}として表現されるため、「確率変数\(X\)の値が集合\(A\)に属する」という事象が起こる確率は、\begin{equation*}P\left( X\in A\right) =P\left( \left\{ \omega \in \Omega \ |\ X\left( \omega
\right) \in A\right\} \right)
\end{equation*}となります。任意の集合\(A\subset \mathbb{R} \)に対して、確率変数\(X\)の値が\(A\)に属する確率\(P\left( X\in A\right) \)が明らかになっている場合、そのような情報の集まりを確率変数\(X\)の確率分布と呼びました。

問題としている試行に関する同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)が与えられている状況において、2つの確率変数\(X,Y:\Omega \rightarrow \mathbb{R}\)が独立であることを、\begin{equation*}\forall A,B\subset \mathbb{R} :P\left( \left( X,Y\right) \in A\times B\right) =P\left( X\in A\right) \cdot
P\left( X\in B\right)
\end{equation*}が成り立つこととして定義しました。これは、2つの集合\(A,B\subset \mathbb{R} \)を任意に選んだとき、「確率変数\(X\)の値が集合\(A\)に属する」という事象と「確率変数\(Y\)の値が集合\(B\)に属する」という事象が独立であることを意味します。

問題としている試行に関する同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)が与えられている状況において、2つの確率変数\(X,Y:\Omega \rightarrow \mathbb{R}\)が同一分布にしたがうことを、\begin{equation*}\forall A\subset \mathbb{R} :P\left( X\in A\right) =P\left( Y\in A\right)
\end{equation*}が成り立つこととして定義しました。これは、集合\(A\subset \mathbb{R} \)を任意に選んだとき、「確率変数\(X\)の値が集合\(A\)に属する確率」と「確率変数\(Y\)の値が集合\(A\)に属する確率」が一致することを意味します。

問題としている試行に関する同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)が与えられている状況において、2つの確率変数\(X,Y:\Omega \rightarrow \mathbb{R}\)が独立かつ同一分布にしたがう場合には、すなわち、以下の条件\begin{eqnarray*}&&\left( a\right) \ \forall A,B\subset \mathbb{R} :P\left( \left( X,Y\right) \in A\times B\right) =P\left( X\in A\right) \cdot
P\left( X\in B\right) \\
&&\left( b\right) \ \forall A\subset \mathbb{R} :P\left( X\in A\right) =P\left( Y\in A\right)
\end{eqnarray*}がともに成り立つ場合には、\(X\)と\(Y\)は独立同一分布にしたがう（independent and identically distributed）と言います。英語の頭文字をとって、独立同一分布にしたがうことを、i.i.dやIIDなどと表記するのが慣例です。

独立同一分布にしたがう2つの離散型確率変数

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)が与えられている状況において、離散型の同時確率変数\(\left( X,Y\right):\Omega \rightarrow \mathbb{R} ^{2}\)の同時確率分布が同時確率質量関数\begin{equation*}f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)と一致する確率は、\begin{equation*}P\left( \left( X,Y\right) =\left( x,y\right) \right) =f_{XY}\left(
x,y\right)
\end{equation*}であり、同時確率変数\(\left( X,Y\right) \)の値が集合\(A\times B\subset \mathbb{R} ^{2}\)に属する確率は、\begin{equation}P\left( \left( X,Y\right) \in A\times B\right) =\sum_{\left( x,y\right) \in
A\times B}f_{XY}\left( x,y\right) \quad \cdots (1)
\end{equation}であるということです。

同時確率質量関数\(f_{XY}\)を周辺化することにより個々の確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)の周辺確率分布を描写する周辺確率質量関数\begin{eqnarray*}f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}が得られます。周辺確率質量関数の定義より、集合\(A,B\subset \mathbb{R} \)を任意に選んだとき、\begin{eqnarray}P\left( X\in A\right) &=&\sum_{x\in A}f_{X}\left( x\right) \quad \cdots (1) \\
P\left( Y\in B\right) &=&\sum_{y\in B}f_{Y}\left( y\right) \quad \cdots (2)
\end{eqnarray}という関係が成り立つことに注意してください。

先に定義したように、確率関数\(X,Y\)が独立同一分布にしたがうことは、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\subset \mathbb{R} :P\left( \left( X,Y\right) \in A\times B\right) =P\left( X\in A\right) \cdot
P\left( X\in B\right) \\
&&\left( b\right) \ \forall A\subset \mathbb{R} :P\left( X\in A\right) =P\left( Y\in A\right)
\end{eqnarray*}がともに成り立つことを意味しますが、\(\left( 1\right) ,\left( 2\right) \)を用いると、これらを、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\subset \mathbb{R} :\sum_{\left( x,y\right) \in A\times B}f_{XY}\left( x,y\right) =\sum_{x\in
A}f_{X}\left( x\right) \cdot \sum_{y\in B}f_{Y}\left( y\right) \\
&&\left( b\right) \ \forall A\subset \mathbb{R} :\sum_{x\in A}f_{X}\left( x\right) =\sum_{y\in A}f_{Y}\left( y\right)
\end{eqnarray*}と表現できます。そこで、以上の条件によって離散型の確率変数\(X,Y\)が同一分布にしたがうことの定義とします。

離散型確率変数が独立同一分布にしたがうことを以下のように表現することもできます。

確率変数どうしは独立同一分布にしたがうとは限りません。まずは独立である一方で同一分布にしたがわない2つの確率変数の例を挙げます。

続いて、同一分布にしたがう一方で独立ではない2つの確率変数の例を挙げます。

最後に、独立ではなく同一分布にもしたがわない2つの確率変数の例を挙げます。

分布関数を用いた離散型確率変数が独立同一分布にしたがうことの表現

確率変数が独立同一分布にしたがうことを分布関数を用いて表現することもできます。具体的には以下の通りです。

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)が与えられている状況において、離散型の同時確率変数\(\left( X,Y\right):\Omega \rightarrow \mathbb{R} ^{2}\)の同時確率分布が同時分布関数\begin{equation*}F_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)以下である確率は、\begin{equation*}P\left( X\leq x\wedge Y\leq y\right) =F_{XY}\left( x,y\right)
=\sum_{x_{i}\leq x}\sum_{y_{i}\leq y}f_{XY}\left( x_{i},y_{i}\right)
\end{equation*}です。同時分布関数\(F_{XY}\)を周辺化することにより個々の確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)の周辺確率分布を描写する周辺分布関数\begin{eqnarray*}F_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
F_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}が得られます。周辺分布関数の定義より、点\(x,y\in \mathbb{R} \)を任意に選んだとき、\begin{eqnarray*}F_{X}\left( x\right) &=&P\left( X\leq x\right) =\sum_{x_{i}\leq
x}f_{X}\left( x_{i}\right) \\
F_{Y}\left( y\right) &=&P\left( Y\leq y\right) =\sum_{y_{i}\leq
y}f_{Y}\left( y_{i}\right)
\end{eqnarray*}という関係が成り立つことに注意してください。

以上を踏まえたとき、離散型確率変数が独立同一分布にしたがうことを以下のように表現することもできます。

演習問題