独立同一分布にしたがう2つの確率変数
確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて2つの確率変数\begin{eqnarray*}X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}と同時確率変数\begin{equation*}
\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}
\end{equation*}が与えられているものとします。
確率変数\(X,Y\)から生成される\(\sigma \)-代数は、\begin{eqnarray*}\sigma \left( X\right) &=&\left\{ X^{-1}\left( B\right) \in 2^{\Omega }\ |\
B\in \mathcal{B}\left( \mathbb{R} \right) \right\} \\
\sigma \left( Y\right) &=&\left\{ Y^{-1}\left( B\right) \in 2^{\Omega }\ |\
B\in \mathcal{B}\left( \mathbb{R} \right) \right\}
\end{eqnarray*}と定義されます。\(X\)と\(Y\)が独立であることは、\(\sigma \left( X\right) \)と\(\sigma \left( Y\right) \)が事象族として独立であること、すなわち、\begin{equation*}\forall A\in \sigma \left( X\right) ,\ \forall B\in \sigma \left( Y\right)
:P\left( A\cap B\right) =P\left( A\right) \cdot P\left( B\right)
\end{equation*}が成り立つこととして定義されます。以下の条件\begin{equation*}
\forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\wedge Y\in B\right) =P\left( X\in A\right) \cdot
P\left( Y\in B\right)
\end{equation*}が成り立つことは、\(X\)と\(Y\)が独立であるための必要十分条件です。
確率変数\(X,Y\)が同一分布にしたがうことは、\begin{equation*}\forall A\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\right) =P\left( Y\in A\right)
\end{equation*}が成り立つこととして定義されます。
2つの確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)と同時確率変数\(\left( X,Y\right):\Omega \rightarrow \mathbb{R} ^{2}\)が与えられている状況において、\(X\)と\(Y\)が独立かつ同一分布にしたがう場合には、すなわち、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\wedge Y\in B\right) =P\left( X\in A\right) \cdot
P\left( Y\in B\right) \\
&&\left( b\right) \ \forall A\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\right) =P\left( Y\in A\right)
\end{eqnarray*}がともに成り立つ場合には、\(X\)と\(Y\)は独立同一分布にしたがう(independent and identically distributed)と言います。英語の頭文字をとって、独立同一分布にしたがうことを、i.i.dやIIDなどと表記するのが慣例です。
独立同一分布にしたがう2つの離散型確率変数
確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の同時確率変数\(\left( X,Y\right) :\Omega\rightarrow \mathbb{R} ^{2}\)とその同時確率質量関数\begin{equation*}f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}が与えられているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の実現値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)と一致する確率は、\begin{equation*}P\left( \left( X,Y\right) =\left( x,y\right) \right) =f_{XY}\left(
x,y\right)
\end{equation*}であり、同時確率変数\(\left( X,Y\right) \)の実現値が集合\(E\in \mathcal{B}\left( \mathbb{R} ^{2}\right) \)に属する確率は、\begin{equation}P\left( \left( X,Y\right) \in E\right) =\sum_{\left( x,y\right) \in
E}f_{XY}\left( x,y\right) \quad \cdots (1)
\end{equation}であるということです。同時確率質量関数\(f_{XY}\)を周辺化することにより個々の確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)の周辺確率質量関数\begin{eqnarray*}f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}が得られます。周辺確率質量関数の定義より、集合\(A,B\in \mathcal{B}\left( \mathbb{R} \right) \)を任意に選んだとき、\begin{eqnarray}P\left( X\in A\right) &=&\sum_{x\in A}f_{X}\left( x\right) \quad \cdots (2) \\
P\left( Y\in B\right) &=&\sum_{y\in B}f_{Y}\left( y\right) \quad \cdots (3)
\end{eqnarray}が成り立ちます。
確率関数\(X,Y\)が独立同一分布にしたがうことは、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\wedge Y\in B\right) =P\left( X\in A\right) \cdot
P\left( Y\in B\right) \\
&&\left( b\right) \ \forall A\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\right) =P\left( Y\in A\right)
\end{eqnarray*}がともに成り立つことを意味しますが、\(\left( 1\right) ,\left( 2\right) ,\left( 3\right) \)を用いると、これらを、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :\sum_{\left( x,y\right) \in A\times B}f_{XY}\left( x,y\right)
=\sum_{x\in A}f_{X}\left( x\right) \cdot \sum_{y\in B}f_{Y}\left( y\right)
\\
&&\left( b\right) \ \forall A\in \mathcal{B}\left( \mathbb{R} \right) :\sum_{x\in A}f_{X}\left( x\right) =\sum_{y\in A}f_{Y}\left(
y\right)
\end{eqnarray*}と表現できます。そこで、以上の条件によって離散型の確率変数\(X,Y\)が同一分布にしたがうことの定義とします。
離散型確率変数が独立同一分布にしたがうことを以下のように表現することもできます。
&&\left( b\right) \ \forall x\in \mathbb{R} :f_{X}\left( x\right) =f_{Y}\left( x\right)
\end{eqnarray*}がともに成り立つことは、\(X\)と\(Y\)が独立同一分布にしたがうための必要十分条件である。
1,0\right) ,\left( 0,1\right) ,\left( 0,0\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{4} & \left( if\ \left( x,y\right) \in \left( X,Y\right) \left(
\Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (1)
\end{equation}を定めます。確率変数\(X\)の値域は、\begin{equation*}X\left( \Omega \right) =\left\{ 0,1\right\}
\end{equation*}であり、確率質量変数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x\in \mathbb{R} \)に対して、\begin{equation}f_{X}\left( x\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ x\in X\left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (2)
\end{equation}を定めます。確率変数\(Y\)の値域は、\begin{equation*}Y\left( \Omega \right) =\left\{ 0,1\right\}
\end{equation*}であり、確率質量変数\(f_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(y\in \mathbb{R} \)に対して、\begin{equation}f_{Y}\left( y\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ y\in Y\left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (3)
\end{equation}を定めます。\(\left( x,y\right) \in \mathbb{R} ^{2}\)を任意に選んだとき、\(\left( 1\right) ,\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}f_{XY}\left( x,y\right) =f_{X}\left( x\right) \cdot f_{Y}\left( y\right)
\end{equation*}が成り立つため、\(X\)と\(Y\)は独立です。加えて、\(x\in \mathbb{R} \)を任意に選んだとき、\(\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}f_{X}\left( x\right) =f_{Y}\left( x\right)
\end{equation*}が成り立つため、\(X\)と\(Y\)は同一分布にしたがいます。以上より、\(X\)と\(Y\)は独立同一分布にしたがうことが明らかになりました。
確率変数どうしは独立同一分布にしたがうとは限りません。まずは独立である一方で同一分布にしたがわない2つの確率変数の例を挙げます。
1,0\right) ,\left( 0,1\right) ,\left( 0,0\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 1,0\right) \right) \\
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 0,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,0\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立である一方で同一分布にしたがいません(演習問題)。
続いて、同一分布にしたがう一方で独立ではない2つの確率変数の例を挙げます。
0,2\right) ,\left( 1,1\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は同一分布にしたがう一方で独立ではありません(演習問題)。
最後に、独立ではなく同一分布にもしたがわない2つの確率変数の例を挙げます。
1,1\right) ,\left( 0,2\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立ではなく同一分布にもしたがいません(演習問題)。
分布関数を用いた離散型確率変数が独立同一分布にしたがうことの表現
確率変数が独立同一分布にしたがうことを分布関数を用いて表現することもできます。具体的には以下の通りです。
&&\left( b\right) \ \forall x\in \mathbb{R} :F_{X}\left( x\right) =F_{Y}\left( x\right)
\end{eqnarray*}が成り立つことは、\(X\)と\(Y\)が独立同一分布にしたがうための必要十分条件である。
1,-1\right) ,\left( -1,1\right) ,\left( -1,-1\right) \right\}
\end{equation*}であるとともに、同時分布関数\(F_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation}F_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
0 & \left( if\ x<-1\vee y<-1\right) \\
\frac{1}{4} & \left( if\ -1\leq x<1\wedge -1\leq y<1\right) \\
\frac{1}{2} & \left( if\ -1\leq x<1\wedge y\geq 1\right) \\
\frac{1}{2} & \left( if\ x\geq 1\wedge -1\leq y<1\right) \\
1 & \left( if\ x\geq 1\wedge y\geq 1\right)\end{array}\right. \quad \cdots (1)
\end{equation}を定めるものとします。確率変数\(X:\Omega \rightarrow \mathbb{R} \)の値域は、\begin{equation*}X\left( \Omega \right) =\left\{ 1,-1\right\}
\end{equation*}であり、周辺分布関数\(F_{X}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x\in \mathbb{R} \)に対して、\begin{equation}F_{X}\left( x\right) =\left\{
\begin{array}{cl}
0 & \left( if\ x<-1\right) \\
\frac{1}{2} & \left( if\ -1\leq x<1\right) \\
1 & \left( if\ x\geq 1\right)\end{array}\right. \quad \cdots (2)
\end{equation}を定めます。確率変数\(Y:\Omega \rightarrow \mathbb{R} \)の値域は、\begin{equation*}Y\left( \Omega \right) =\left\{ 1,-1\right\}
\end{equation*}であり、周辺分布関数\(F_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(y\in \mathbb{R} \)に対して、\begin{equation}F_{Y}\left( y\right) =\left\{
\begin{array}{cl}
0 & \left( if\ y<-1\right) \\
\frac{1}{2} & \left( if\ -1\leq y<1\right) \\
1 & \left( if\ y\geq 1\right)\end{array}\right. \quad \cdots (3)
\end{equation}を定めます。\(\left( x,y\right) \in \mathbb{R} ^{2}\)を任意に選んだとき、\(\left( 1\right) ,\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}F_{XY}\left( x,y\right) =F_{X}\left( x\right) \cdot F_{Y}\left( y\right)
\end{equation*}が成り立つため、\(X\)と\(Y \)は独立です。加えて、\(x\in \mathbb{R} \)を任意に選んだとき、\(\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}F_{X}\left( x\right) =F_{Y}\left( x\right)
\end{equation*}が成り立つため、\(X\)と\(Y \)は同一分布にしたがいます。したがって、\(X\)と\(Y\)は独立同一分布にしたがうことが明らかになりました。
演習問題
1,0\right) ,\left( 0,1\right) ,\left( 0,0\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 1,0\right) \right) \\
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 0,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,0\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立である一方で同一分布にしたがわないことを示してください。
1,1\right) ,\left( 0,2\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は同一分布にしたがう一方で独立ではないことを示してください。
1,1\right) ,\left( 0,2\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立ではなく同一分布にもしたがわないことを示してください。
プレミアム会員専用コンテンツです
【ログイン】【会員登録】