離散型確率変数の条件付き期待値

離散型確率変数の条件付き期待値

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の同時確率変数\(\left( X,Y\right) :\Omega\rightarrow \mathbb{R} ^{2}\)が与えられており、その同時確率分布が同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)によって記述されているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)と一致する確率は、\begin{equation*}P\left( X=x\wedge Y=y\right) =f_{XY}\left( x,y\right)
\end{equation*}であり、同時確率変数\(\left( X,Y\right) \)の値が集合\(A\times B\subset \mathbb{R} ^{2}\)に属する確率は、\begin{equation*}P\left( \left( X,Y\right) \in A\times B\right) =\sum_{\left( x,y\right) \in
A\times B}f_{XY}\left( x,y\right)
\end{equation*}であるということです。この場合、確率変数\(Y:\Omega \rightarrow \mathbb{R} \)の周辺確率質量関数\(f_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)が存在するとともに、これはそれぞれの\(y\in \mathbb{R} \)に対して、\begin{equation*}f_{Y}\left( y\right) =\left\{
\begin{array}{cc}
\sum\limits_{\left( x_{i},y_{i}\right) \in \left( X,Y\right) \left( \Omega
\right) \ s.t.\ y_{i}=y}f_{XY}\left( x_{i},y_{i}\right) & \left( if\ y\in
Y\left( \Omega \right) \right) \\
0 & \left( if\ y\not\in Y\left( \Omega \right) \right)
\end{array}\right.
\end{equation*}を定めます。特に、\begin{equation*}
f_{Y}\left( y\right) >0
\end{equation*}を満たす\(y\in \mathbb{R} \)を任意に選んだとき、\(Y=y\)のもとでの\(X\)の条件付き確率質量関数\(f_{X|Y=y}:\mathbb{R} \rightarrow \mathbb{R} \)が存在し、それぞれの\(x\in \mathbb{R} \)に対して、\begin{equation*}f_{X|Y=y}\left( x\right) =\frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }
\end{equation*}を定めます。確率変数\(Y\)の値が\(y\)であるという条件のもとで確率変数\(X\)の値が\(x\)である確率は、\begin{equation*}P\left( X=x|Y=y\right) =f_{X|Y=y}\left( x\right)
\end{equation*}であり、確率変数\(Y\)の値が\(y\)であるという条件のもとで確率変数\(X\)の値が集合\(A\subset \mathbb{R} \)に属する確率は、\begin{equation*}P\left( X\in A|Y=y\right) =\sum_{x\in A}f_{X|Y=y}\left( x\right)
\end{equation*}として定まります。

問題としている試行のもとで確率変数\(X\)がとり得る値の範囲\(X\left(\Omega \right) \)は分かっていますが、試行はランダムネスによって支配されているため、\(X\left(\Omega \right) \)の中のどの値が実際に実現するかを事前に特定できません。したがって、何らかの手段を通じて\(X\left( \Omega \right) \)の中のどの値が実際に実現するかを予測する必要があります。\(X\)の実現値を予想する際に期待値\begin{equation*}E\left( X\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X}\left( x\right) \right] \end{equation*}を参考にすることは最も基本的な考え方です。ただし、\(f_{X}\)は周辺確率質量関数です。では、試行によって確率変数\(Y\)の値\(y\)が実現したことが観察された場合（もしくは\(Y\)の値\(y\)が実現したものと仮定する場合）に確率変数\(X\)の期待値をどのように評価すればよいでしょうか。その場合にも\(X\)の期待値を\(E\left( X\right) \)と評価したのでは、\(Y\)の値\(y\)が実現したという追加的な情報を活用できておらず望ましくありません。

確率変数\(Y\)の値\(y\)が実現したことを前提とした場合の確率変数\(X\)の確率分布は条件付き確率質量関数\(f_{X|Y=y}\)によって描写されるため、この場合の\(X\)の期待値としては、\begin{equation*}\sum_{x\in X\left( \Omega \right) }\left[ x\cdot f_{X|Y=y}\left( x\right) \right] \end{equation*}を採用すべきです。これを\(Y=y\)のもとでの\(X\)の条件付き期待値（conditional expectation）や条件付き平均値（conditional mean）などと呼び、\begin{equation*}E\left( X|Y=y\right)
\end{equation*}で表記します。つまり、\begin{equation*}
E\left( X|Y=y\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X|Y=y}\left( x\right) \right] \end{equation*}を満たすものとして条件付き期待値\(E\left(X|Y=y\right) \)は定義されます。

ちなみに、任意の\(x\in \mathbb{R} \)について以下の関係\begin{equation*}f_{X|Y=y}\left( x\right) =\frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }
\end{equation*}が成り立つことを踏まえると、条件付き期待値を、\begin{equation*}
E\left( X|Y=y\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot \frac{f_{XY}\left( x,y\right) }{f_{Y}\left( y\right) }\right] \end{equation*}と表現することもできます。

もう一方の確率変数\(Y\)についても同様に考えます。つまり、確率変数\(X\)の値\(x\)が実現したことを前提とした場合の確率変数\(Y\)の確率分布は条件付き確率質量関数\(f_{Y|X=x}\)によって描写されるため、この場合の\(Y\)の期待値としては、\begin{equation*}\sum_{y\in Y\left( \Omega \right) }\left[ y\cdot f_{Y|X=x}\left( y\right) \right] \end{equation*}を採用すべきです。これを\(X=x\)のもとでの\(Y\)の条件付き期待値（conditional expectation）や条件付き平均値（conditional mean）などと呼び、\begin{equation*}E\left( Y|X=x\right)
\end{equation*}で表記します。つまり、\begin{equation*}
E\left( Y|X=x\right) =\sum_{y\in Y\left( \Omega \right) }\left[ y\cdot
f_{Y|X=x}\left( y\right) \right] \end{equation*}を満たすものとして条件付き期待値\(E\left(Y|X=x\right) \)は定義されます。

ちなみに、任意の\(y\in \mathbb{R} \)について以下の関係\begin{equation*}f_{Y|X=x}\left( y\right) =\frac{f_{XY}\left( x,y\right) }{f_{X}\left(
x\right) }
\end{equation*}が成り立つことを踏まえると、条件付き期待値を、\begin{equation*}
E\left( Y|X=x\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot \frac{f_{XY}\left( x,y\right) }{f_{X}\left( x\right) }\right] \end{equation*}と表現することもできます。

演習問題