離散型確率変数の条件付き期待値

離散型確率変数の条件付き期待値

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の同時確率変数\begin{equation*}\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}
\end{equation*}が与えられているものとします。加えて、\(\left( X,Y\right) \)の同時分布が同時確率質量関数\begin{equation*}f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。さらに、個々の確率変数\begin{eqnarray*}
X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}の分布が周辺確率質量関数\begin{eqnarray*}
f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}によって記述されているものとします。以下の条件\begin{equation*}
f_{Y}\left( y\right) >0
\end{equation*}を満たす\(y\in \mathbb{R} \)が与えられれば、\(Y=y\)のもとでの\(X\)の条件付き確率質量関数\begin{equation*}f_{X|Y=y}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}が得られるとともに、任意の\(x\in \mathbb{R} \)に関して以下の関係\begin{equation*}f_{X|Y=y}\left( x\right) =\frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }
\end{equation*}が成り立ちます。

問題としている試行のもとで確率変数\(X\)がとり得る値の範囲\(X\left(\Omega \right) \)は分かっていますが、試行はランダムネスによって支配されているため、\(X\left(\Omega \right) \)の中のどの値が実際に実現するかを事前に特定できません。したがって、何らかの手段を通じて\(X\left( \Omega \right) \)の中のどの値が実際に実現するかを予測する必要があります。\(X\)の実現値を予想する際に期待値\begin{equation*}E\left( X\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X}\left( x\right) \right] \end{equation*}を参考にすることは最も基本的な考え方です。では、試行によって確率変数\(Y\)の値\(y\)が実現したことが観察された場合（もしくは\(Y\)の値\(y\)が実現したものと仮定する場合）に確率変数\(X\)の期待値をどのように評価すればよいでしょうか。その場合にも\(X\)の期待値を\(E\left( X\right) \)と評価したのでは、\(Y\)の値\(y\)が実現したという追加的な情報を活用できておらず望ましくありません。

確率変数\(Y\)の値\(y\)が実現したことを前提とした場合の確率変数\(X\)の確率分布は条件付き確率質量関数\(f_{X|Y=y}\)によって描写されるため、この場合の\(X\)の期待値としては、\begin{equation*}\sum_{x\in X\left( \Omega \right) }\left[ x\cdot f_{X|Y=y}\left( x\right) \right] \end{equation*}を採用すべきです。これを\(Y=y\)のもとでの\(X\)の条件付き期待値（conditional expectation of \(X\) given \(Y=y\)）や条件付き平均値（conditional mean）などと呼び、\begin{equation*}
E\left( X|Y=y\right)
\end{equation*}で表記します。つまり、\begin{equation*}
E\left( X|Y=y\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X|Y=y}\left( x\right) \right] \end{equation*}を満たすものとして条件付き期待値は定義されます。

任意の\(x\in \mathbb{R} \)について以下の関係\begin{equation*}f_{X|Y=y}\left( x\right) =\frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }
\end{equation*}が成り立つことを踏まえると、条件付き期待値を、\begin{equation*}
E\left( X|Y=y\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot \frac{f_{XY}\left( x,y\right) }{f_{Y}\left( y\right) }\right] \end{equation*}と表現することもできます。

もう一方の確率変数\(Y\)についても同様に考えます。つまり、確率変数\(X\)の値\(x\)が実現したことを前提とした場合の確率変数\(Y\)の確率分布は条件付き確率質量関数\(f_{Y|X=x}\)によって描写されるため、この場合の\(Y\)の期待値としては、\begin{equation*}\sum_{y\in Y\left( \Omega \right) }\left[ y\cdot f_{Y|X=x}\left( y\right) \right] \end{equation*}を採用すべきです。これを\(X=x\)のもとでの\(Y\)の条件付き期待値（conditional expectation of \(Y\) given \(X=x\)）や条件付き平均値（conditional mean）などと呼び、\begin{equation*}
E\left( Y|X=x\right)
\end{equation*}で表記します。つまり、\begin{equation*}
E\left( Y|X=x\right) =\sum_{y\in Y\left( \Omega \right) }\left[ y\cdot
f_{Y|X=x}\left( y\right) \right] \end{equation*}を満たすものとして条件付き期待値\(E\left(Y|X=x\right) \)は定義されます。

任意の\(y\in \mathbb{R} \)について以下の関係\begin{equation*}f_{Y|X=x}\left( y\right) =\frac{f_{XY}\left( x,y\right) }{f_{X}\left(
x\right) }
\end{equation*}が成り立つことを踏まえると、条件付き期待値を、\begin{equation*}
E\left( Y|X=x\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot \frac{f_{XY}\left( x,y\right) }{f_{X}\left( x\right) }\right] \end{equation*}と表現することもできます。

逐次期待値の法則

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて2つの離散型確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)が与えられた状況を想定します。標本点\(\omega \in \Omega \)のもとでの\(Y\)の実現値は\(Y\left( \omega \right) \in \mathbb{R} \)であるため、\(Y=Y\left( \omega \right) \)のもとでの\(X\)の条件付き期待値\(E\left( X|Y=Y\left( \omega \right) \right) \)が定義可能です。このような事情を踏まえると、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}E\left( X|Y\right) \left( \omega \right) =E\left( X|Y=Y\left( \omega \right)
\right)
\end{equation*}を値として定める確率変数\begin{equation*}
E\left( X|Y\right) :\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。これを\(Y\)のもとでの\(X\)の条件付き期待値（conditional expectation of \(X\) given \(Y\)）と呼びます。

条件付き期待値\(E\left( X|Y\right) \)は確率変数であるため、その期待値をとることができますが、それについては以下の関係\begin{equation*}E\left( E\left( X|Y\right) \right) =E\left( X\right)
\end{equation*}が成り立ちます。つまり、\(Y\)のもとでの\(X\)の条件付き期待値の期待値は\(X\)の期待値と一致します。これを逐次期待値の法則（law of iterated expectations）と呼びます。

演習問題