WIIS

離散型の確率分布

独立同一分布(i.i.d.)にしたがう2つの離散型確率変数

目次

Mailで保存
Xで共有

独立同一分布にしたがう2つの確率変数

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて2つの確率変数\begin{eqnarray*}X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}と同時確率変数\begin{equation*}
\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}
\end{equation*}が与えられているものとします。

確率変数\(X,Y\)から生成される\(\sigma \)-代数は、\begin{eqnarray*}\sigma \left( X\right) &=&\left\{ X^{-1}\left( B\right) \in 2^{\Omega }\ |\
B\in \mathcal{B}\left( \mathbb{R} \right) \right\} \\
\sigma \left( Y\right) &=&\left\{ Y^{-1}\left( B\right) \in 2^{\Omega }\ |\
B\in \mathcal{B}\left( \mathbb{R} \right) \right\}
\end{eqnarray*}と定義されます。\(X\)と\(Y\)が独立であることは、\(\sigma \left( X\right) \)と\(\sigma \left( Y\right) \)が事象族として独立であること、すなわち、\begin{equation*}\forall A\in \sigma \left( X\right) ,\ \forall B\in \sigma \left( Y\right)
:P\left( A\cap B\right) =P\left( A\right) \cdot P\left( B\right)
\end{equation*}が成り立つこととして定義されます。以下の条件\begin{equation*}
\forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\wedge Y\in B\right) =P\left( X\in A\right) \cdot
P\left( Y\in B\right)
\end{equation*}が成り立つことは、\(X\)と\(Y\)が独立であるための必要十分条件です。

確率変数\(X,Y\)が同一分布にしたがうことは、\begin{equation*}\forall A\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\right) =P\left( Y\in A\right)
\end{equation*}が成り立つこととして定義されます。

2つの確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)と同時確率変数\(\left( X,Y\right):\Omega \rightarrow \mathbb{R} ^{2}\)が与えられている状況において、\(X\)と\(Y\)が独立かつ同一分布にしたがう場合には、すなわち、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\wedge Y\in B\right) =P\left( X\in A\right) \cdot
P\left( Y\in B\right) \\
&&\left( b\right) \ \forall A\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\right) =P\left( Y\in A\right)
\end{eqnarray*}がともに成り立つ場合には、\(X\)と\(Y\)は独立同一分布にしたがう(independent and identically distributed)と言います。英語の頭文字をとって、独立同一分布にしたがうことを、i.i.dIIDなどと表記するのが慣例です。

 

独立同一分布にしたがう2つの離散型確率変数

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の同時確率変数\(\left( X,Y\right) :\Omega\rightarrow \mathbb{R} ^{2}\)とその同時確率質量関数\begin{equation*}f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}が与えられているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の実現値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)と一致する確率は、\begin{equation*}P\left( \left( X,Y\right) =\left( x,y\right) \right) =f_{XY}\left(
x,y\right)
\end{equation*}であり、同時確率変数\(\left( X,Y\right) \)の実現値が集合\(E\in \mathcal{B}\left( \mathbb{R} ^{2}\right) \)に属する確率は、\begin{equation}P\left( \left( X,Y\right) \in E\right) =\sum_{\left( x,y\right) \in
E}f_{XY}\left( x,y\right) \quad \cdots (1)
\end{equation}であるということです。同時確率質量関数\(f_{XY}\)を周辺化することにより個々の確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)の周辺確率質量関数\begin{eqnarray*}f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}が得られます。周辺確率質量関数の定義より、集合\(A,B\in \mathcal{B}\left( \mathbb{R} \right) \)を任意に選んだとき、\begin{eqnarray}P\left( X\in A\right) &=&\sum_{x\in A}f_{X}\left( x\right) \quad \cdots (2) \\
P\left( Y\in B\right) &=&\sum_{y\in B}f_{Y}\left( y\right) \quad \cdots (3)
\end{eqnarray}が成り立ちます。

確率関数\(X,Y\)が独立同一分布にしたがうことは、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\wedge Y\in B\right) =P\left( X\in A\right) \cdot
P\left( Y\in B\right) \\
&&\left( b\right) \ \forall A\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in A\right) =P\left( Y\in A\right)
\end{eqnarray*}がともに成り立つことを意味しますが、\(\left( 1\right) ,\left( 2\right) ,\left( 3\right) \)を用いると、これらを、\begin{eqnarray*}&&\left( a\right) \ \forall A,B\in \mathcal{B}\left( \mathbb{R} \right) :\sum_{\left( x,y\right) \in A\times B}f_{XY}\left( x,y\right)
=\sum_{x\in A}f_{X}\left( x\right) \cdot \sum_{y\in B}f_{Y}\left( y\right)
\\
&&\left( b\right) \ \forall A\in \mathcal{B}\left( \mathbb{R} \right) :\sum_{x\in A}f_{X}\left( x\right) =\sum_{y\in A}f_{Y}\left(
y\right)
\end{eqnarray*}と表現できます。そこで、以上の条件によって離散型の確率変数\(X,Y\)が同一分布にしたがうことの定義とします。

離散型確率変数が独立同一分布にしたがうことを以下のように表現することもできます。

命題(独立同一分布にしたがう離散型確率変数)
確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)と同時確率変数\(\left( X,Y\right):\Omega \rightarrow \mathbb{R} ^{2}\)が与えられているものとする。\(\left( X,Y\right) \)の同時確率質量関数が\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)であり、確率変数\(X,Y\)の周辺確率質量関数が\(f_{X},f_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)であるものとする。このとき、以下の条件\begin{eqnarray*}&&\left( a\right) \ \forall x,y\in \mathbb{R} :f_{XY}\left( x,y\right) =f_{X}\left( x\right) \cdot f_{Y}\left( y\right) \\
&&\left( b\right) \ \forall x\in \mathbb{R} :f_{X}\left( x\right) =f_{Y}\left( x\right)
\end{eqnarray*}がともに成り立つことは、\(X\)と\(Y\)が独立同一分布にしたがうための必要十分条件である。
証明

プレミアム会員専用コンテンツです
ログイン】【会員登録

例(独立同一分布にしたがう離散型確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 1,1\right) ,\left(
1,0\right) ,\left( 0,1\right) ,\left( 0,0\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{4} & \left( if\ \left( x,y\right) \in \left( X,Y\right) \left(
\Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (1)
\end{equation}を定めます。確率変数\(X\)の値域は、\begin{equation*}X\left( \Omega \right) =\left\{ 0,1\right\}
\end{equation*}であり、確率質量変数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x\in \mathbb{R} \)に対して、\begin{equation}f_{X}\left( x\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ x\in X\left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (2)
\end{equation}を定めます。確率変数\(Y\)の値域は、\begin{equation*}Y\left( \Omega \right) =\left\{ 0,1\right\}
\end{equation*}であり、確率質量変数\(f_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(y\in \mathbb{R} \)に対して、\begin{equation}f_{Y}\left( y\right) =\left\{
\begin{array}{cl}
\frac{1}{2} & \left( if\ y\in Y\left( \Omega \right) \right) \\
0 & \left( otherwise\right)
\end{array}\right. \quad \cdots (3)
\end{equation}を定めます。\(\left( x,y\right) \in \mathbb{R} ^{2}\)を任意に選んだとき、\(\left( 1\right) ,\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}f_{XY}\left( x,y\right) =f_{X}\left( x\right) \cdot f_{Y}\left( y\right)
\end{equation*}が成り立つため、\(X\)と\(Y\)は独立です。加えて、\(x\in \mathbb{R} \)を任意に選んだとき、\(\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}f_{X}\left( x\right) =f_{Y}\left( x\right)
\end{equation*}が成り立つため、\(X\)と\(Y\)は同一分布にしたがいます。以上より、\(X\)と\(Y\)は独立同一分布にしたがうことが明らかになりました。

確率変数どうしは独立同一分布にしたがうとは限りません。まずは独立である一方で同一分布にしたがわない2つの確率変数の例を挙げます。

例(独立だが同一分布にしたがわない確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 1,1\right) ,\left(
1,0\right) ,\left( 0,1\right) ,\left( 0,0\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 1,0\right) \right) \\
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 0,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,0\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立である一方で同一分布にしたがいません(演習問題)。

続いて、同一分布にしたがう一方で独立ではない2つの確率変数の例を挙げます。

例(独立ではないが同一分布にしたがう確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 2,0\right) ,\left(
0,2\right) ,\left( 1,1\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は同一分布にしたがう一方で独立ではありません(演習問題)。

最後に、独立ではなく同一分布にもしたがわない2つの確率変数の例を挙げます。

例(独立ではなく同一分布にもしたがわない確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 2,0\right) ,\left(
1,1\right) ,\left( 0,2\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立ではなく同一分布にもしたがいません(演習問題)。

 

分布関数を用いた離散型確率変数が独立同一分布にしたがうことの表現

確率変数が独立同一分布にしたがうことを分布関数を用いて表現することもできます。具体的には以下の通りです。

命題(独立同一分布にしたがう離散型確率変数)
確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)と同時確率変数\(\left( X,Y\right):\Omega \rightarrow \mathbb{R} ^{2}\)が与えられているものとする。\(\left( X,Y\right) \)の同時分布関数が\(F_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)であり、\(X,Y\)の周辺分布関数が\(F_{X},F_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)であるものとする。このとき、以下の条件\begin{eqnarray*}&&\left( a\right) \ \forall x,y\in \mathbb{R} :F_{XY}\left( x,y\right) =F_{X}\left( x\right) \cdot F_{Y}\left( y\right) \\
&&\left( b\right) \ \forall x\in \mathbb{R} :F_{X}\left( x\right) =F_{Y}\left( x\right)
\end{eqnarray*}が成り立つことは、\(X\)と\(Y\)が独立同一分布にしたがうための必要十分条件である。
証明

プレミアム会員専用コンテンツです
ログイン】【会員登録

例(独立同一分布にしたがう離散型確率変数)
同時確率変数\(\left( X,Y\right) :\Omega\rightarrow \mathbb{R} ^{2}\)の値域が、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 1,1\right) ,\left(
1,-1\right) ,\left( -1,1\right) ,\left( -1,-1\right) \right\}
\end{equation*}であるとともに、同時分布関数\(F_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation}F_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
0 & \left( if\ x<-1\vee y<-1\right) \\
\frac{1}{4} & \left( if\ -1\leq x<1\wedge -1\leq y<1\right) \\
\frac{1}{2} & \left( if\ -1\leq x<1\wedge y\geq 1\right) \\
\frac{1}{2} & \left( if\ x\geq 1\wedge -1\leq y<1\right) \\
1 & \left( if\ x\geq 1\wedge y\geq 1\right)\end{array}\right. \quad \cdots (1)
\end{equation}を定めるものとします。確率変数\(X:\Omega \rightarrow \mathbb{R} \)の値域は、\begin{equation*}X\left( \Omega \right) =\left\{ 1,-1\right\}
\end{equation*}であり、周辺分布関数\(F_{X}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(x\in \mathbb{R} \)に対して、\begin{equation}F_{X}\left( x\right) =\left\{
\begin{array}{cl}
0 & \left( if\ x<-1\right) \\
\frac{1}{2} & \left( if\ -1\leq x<1\right) \\
1 & \left( if\ x\geq 1\right)\end{array}\right. \quad \cdots (2)
\end{equation}を定めます。確率変数\(Y:\Omega \rightarrow \mathbb{R} \)の値域は、\begin{equation*}Y\left( \Omega \right) =\left\{ 1,-1\right\}
\end{equation*}であり、周辺分布関数\(F_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)はそれぞれの\(y\in \mathbb{R} \)に対して、\begin{equation}F_{Y}\left( y\right) =\left\{
\begin{array}{cl}
0 & \left( if\ y<-1\right) \\
\frac{1}{2} & \left( if\ -1\leq y<1\right) \\
1 & \left( if\ y\geq 1\right)\end{array}\right. \quad \cdots (3)
\end{equation}を定めます。\(\left( x,y\right) \in \mathbb{R} ^{2}\)を任意に選んだとき、\(\left( 1\right) ,\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}F_{XY}\left( x,y\right) =F_{X}\left( x\right) \cdot F_{Y}\left( y\right)
\end{equation*}が成り立つため、\(X\)と\(Y \)は独立です。加えて、\(x\in \mathbb{R} \)を任意に選んだとき、\(\left( 2\right) ,\left( 3\right) \)より、\begin{equation*}F_{X}\left( x\right) =F_{Y}\left( x\right)
\end{equation*}が成り立つため、\(X\)と\(Y \)は同一分布にしたがいます。したがって、\(X\)と\(Y\)は独立同一分布にしたがうことが明らかになりました。

 

演習問題

問題(独立だが同一分布にしたがわない確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 1,1\right) ,\left(
1,0\right) ,\left( 0,1\right) ,\left( 0,0\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 1,0\right) \right) \\
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 0,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,0\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立である一方で同一分布にしたがわないことを示してください。
証明

プレミアム会員専用コンテンツです
ログイン】【会員登録

問題(独立ではないが同一分布にしたがう確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 2,0\right) ,\left(
1,1\right) ,\left( 0,2\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{4} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は同一分布にしたがう一方で独立ではないことを示してください。
解答を見る

プレミアム会員専用コンテンツです
ログイン】【会員登録

問題(独立ではなく同一分布にもしたがわない確率変数)
離散型の同時確率変数\(\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}\)の値域は、\begin{equation*}\left( X,Y\right) \left( \Omega \right) =\left\{ \left( 2,0\right) ,\left(
1,1\right) ,\left( 0,2\right) \right\}
\end{equation*}であるとともに、同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f_{XY}\left( x,y\right) =\left\{
\begin{array}{cl}
\frac{1}{3} & \left( if\ \left( x,y\right) =\left( 2,0\right) \right) \\
\frac{1}{2} & \left( if\ \left( x,y\right) =\left( 1,1\right) \right) \\
\frac{1}{6} & \left( if\ \left( x,y\right) =\left( 0,2\right) \right) \\
0 & \left( otherwise\right)
\end{array}\right.
\end{equation*}を定めるものとします。\(X\)と\(Y\)は独立ではなく同一分布にもしたがわないことを示してください。
解答を見る

プレミアム会員専用コンテンツです
ログイン】【会員登録

関連知識

Mailで保存
Xで共有

質問とコメント

プレミアム会員専用コンテンツです

会員登録

有料のプレミアム会員であれば、質問やコメントの投稿と閲覧、プレミアムコンテンツ(命題の証明や演習問題とその解答)へのアクセスなどが可能になります。

ワイズのユーザーは年齢・性別・学歴・社会的立場などとは関係なく「学ぶ人」として対等であり、お互いを人格として尊重することが求められます。ユーザーが快適かつ安心して「学ぶ」ことに集中できる環境を整備するため、広告やスパム投稿、他のユーザーを貶めたり威圧する発言、学んでいる内容とは関係のない不毛な議論などはブロックすることになっています。詳細はガイドラインをご覧ください。

誤字脱字、リンク切れ、内容の誤りを発見した場合にはコメントに投稿するのではなく、以下のフォームからご連絡をお願い致します。

プレミアム会員専用コンテンツです
ログイン】【会員登録