連続型確率変数の条件付き分散・条件付き標準偏差

離散型確率変数の条件付き分散

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて絶対連続型の同時確率変数\begin{equation*}\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}
\end{equation*}が与えられているものとします。加えて、\(\left( X,Y\right) \)の同時分布が同時確率密度関数\begin{equation*}f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。さらに、個々の確率変数\begin{eqnarray*}
X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}の分布が周辺確率密度関数\begin{eqnarray*}
f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}によって記述されているものとします。以下の条件\begin{equation*}
f_{Y}\left( y\right) >0
\end{equation*}を満たす\(y\in \mathbb{R} \)が与えられれば、\(Y=y\)のもとでの\(X\)の条件付き確率密度関数\begin{equation*}f_{X|Y=y}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}が得られるとともに、任意の\(x\in \mathbb{R} \)に関して以下の関係\begin{equation*}f_{X|Y=y}\left( x\right) =\frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }
\end{equation*}が成り立ちます。

試行によって確率変数\(Y\)の値\(y\)が実現したことが観察された場合（もしくは\(Y\)の値\(y\)が実現したものと仮定する場合）の\(X\)の期待値、すなわち\(Y=y\)のもとでの\(X\)の条件付き期待値\begin{equation*}E\left( X|Y=y\right) =\int_{-\infty }^{+\infty }xf_{X|Y=y}\left( x\right) dx
\end{equation*}が有限な実数として定まるものとします。確率変数\(X\)の値が条件付き期待値\(E\left( X|Y=y\right) \)のまわりにどのように散らばっているかを表現するため、\(X\)がとり得るそれぞれの値\(x\in X\left( \Omega \right) \)と条件付き期待値の差\(x-E\left( X|Y=y\right) \)をとります。符号を正に統一するために平方\(\left[ x-E\left( X|Y=y\right) \right] ^{2}\)をとった上で、この値の期待値\begin{equation*}E\left[ \left[ X-E\left( X|Y=y\right) \right] ^{2}\right] \end{equation*}を散らばりの指標として採用します。具体的には、\begin{equation*}
E\left[ \left[ X-E\left( X|Y=y\right) \right] ^{2}\right] =\int_{-\infty
}^{+\infty }\left[ x-E\left( X|Y=y\right) \right] ^{2}\cdot f_{X|Y=y}\left(
x\right) dx\quad \because \text{LOTUS}
\end{equation*}となります。この指標を\(Y=y\)のもとでの確率変数\(X\)の条件付き分散（conditional variance of \(X\) given \(Y=y\)）と呼び、\begin{equation*}\mathrm{Var}\left( X|Y=y\right)
\end{equation*}で表記します。つまり、\begin{equation*}
\mathrm{Var}\left( X|Y=y\right) =\int_{-\infty }^{+\infty }\left[ x-E\left(
X|Y=y\right) \right] ^{2}\cdot f_{X|Y=y}\left( x\right) dx
\end{equation*}を満たすものとして条件付き分散は定義されます。

任意の\(x\in \mathbb{R} \)について以下の関係\begin{equation*}f_{X|Y=y}\left( x\right) =\frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }
\end{equation*}が成り立つことを踏まえると、条件付き分散を、\begin{equation*}
\mathrm{Var}\left( X|Y=y\right) =\int_{-\infty }^{+\infty }\left[ x-E\left(
X|Y=y\right) \right] ^{2}\cdot \frac{f_{XY}\left( x,y\right) }{f_{Y}\left(
y\right) }dx
\end{equation*}と表現することもできます。

もう一方の確率変数\(Y\)についても同様に考えます。つまり、確率変数\(X\)の値\(x\)が実現したことを前提とした場合の確率変数\(Y\)の確率分布は条件付き確率密度関数\(f_{Y|X=x}\)によって描写されるため、この場合の\(Y\)の分散としては、\begin{equation*}\int_{-\infty }^{+\infty }\left[ y-E\left( Y|X=x\right) \right] ^{2}\cdot
f_{Y|X=x}\left( y\right) dy
\end{equation*}を採用すべきです。これを\(Y=y\)のもとでの\(X\)の条件付き期待値（conditional variance of \(Y\) given \(X=x\)）と呼び、\begin{equation*}\mathrm{Var}\left( Y|X=x\right)
\end{equation*}で表記します。つまり、\begin{equation*}
\mathrm{Var}\left( Y|X=x\right) =\int_{-\infty }^{+\infty }\left[ y-E\left(
Y|X=x\right) \right] ^{2}\cdot f_{Y|X=x}\left( y\right) dy
\end{equation*}を満たすものとして条件付き分散\(\mathrm{Var}\left(Y|X=x\right) \)は定義されます。

任意の\(y\in \mathbb{R} \)について以下の関係\begin{equation*}f_{Y|X=x}\left( y\right) =\frac{f_{XY}\left( x,y\right) }{f_{X}\left(
x\right) }
\end{equation*}が成り立つことを踏まえると、条件付き分散を、\begin{equation*}
\mathrm{Var}\left( Y|X=x\right) =\int_{-\infty }^{+\infty }\left[ y-E\left(
Y|X=x\right) \right] ^{2}\cdot \frac{f_{XY}\left( x,y\right) }{f_{X}\left(
x\right) }dy
\end{equation*}と表現することもできます。

離散型確率変数の条件付き標準偏差

絶対連続型の確率変数\(X,Y\)について\(Y=y\)のもとでの\(X\)の条件付き分散\(\mathrm{Var}\left( X|Y=y\right) \)が有限な実数として定まる場合、それは必ず非負の実数として定まるため、その正の平方根\begin{equation*}\sqrt{\mathrm{Var}\left( X|Y=y\right) }
\end{equation*}をとることができます。この指標を\(Y=y\)のもとでの確率変数\(X\)の条件付き標準偏差（conditional standard deviation of \(X\) given \(Y=y\)）と呼び、\begin{equation*}\sigma _{X|Y=y},\quad \mathrm{SD}\left( X|Y=y\right)
\end{equation*}などで表記します。つまり、\begin{eqnarray*}
\sigma _{X|Y=y} &=&\sqrt{\mathrm{Var}\left( X|Y=y\right) } \\
&=&\sqrt{\int_{-\infty }^{+\infty }\left[ x-E\left( X|Y=y\right) \right] ^{2}\cdot f_{X|Y=y}\left( x\right) dx}
\end{eqnarray*}です。このとき、\begin{equation*}
\sigma _{X|Y=y}^{2}=\mathrm{Var}\left( X|Y=y\right)
\end{equation*}という関係が成り立つため、\(Y=y\)のもとでの\(X\)の条件付き分散を、\begin{equation*}\sigma _{X|Y=y}^{2}
\end{equation*}と表記することもできます。

絶対連続型の確率変数\(X,Y\)について\(Y=y\)のもとでの\(X\)の条件付き分散は、\begin{equation*}\mathrm{Var}\left( X|Y=y\right) =\int_{-\infty }^{+\infty }\left[ x-E\left(
X|Y=y\right) \right] ^{2}\cdot f_{X|Y=y}\left( x\right) dx
\end{equation*}と定義されますが、分散の導出過程で確率変数の値と条件付き期待値の差の平方\(\left[ x-E\left( X|Y=y\right) \right] ^{2}\)をとっているため、条件付き分散\(\mathrm{Var}\left( X|Y=y\right) \)の単位は確率変数\(X\)の値の単位の平方になっています。一方、条件付き標準偏差は条件付き分散の平方根\begin{equation*}\sigma _{X|Y=y}=\sqrt{\mathrm{Var}\left( X|Y=y\right) }
\end{equation*}であるため、条件付き標準偏差\(\sigma _{X|Y=y}\)の単位は確率変数\(X\)の値の単位と一致しており、指標の意味が直感的に分かりやすくなっています。

もう一方の確率変数\(Y\)についても同様に考えます。つまり、絶対連続型の確率変数\(X,Y\)について\(X=x\)のもとでの\(Y\)の条件付き分散\(\mathrm{Var}\left(Y|X=x\right) \)が有限な実数として定まる場合、それは必ず非負の実数として定まるため、その正の平方根\begin{equation*}\sqrt{\mathrm{Var}\left( Y|X=x\right) }
\end{equation*}をとることができます。この指標を\(X=x\)のもとでの確率変数\(Y\)の条件付き標準偏差（conditional standard deviation of \(Y\) given \(X=x\)）と呼び、\begin{equation*}\sigma _{Y|X=x},\quad \mathrm{SD}\left( Y|X=x\right)
\end{equation*}などで表記します。つまり、\begin{eqnarray*}
\sigma _{Y|X=x} &=&\sqrt{\mathrm{Var}\left( Y|X=x\right) } \\
&=&\sqrt{\int_{-\infty }^{+\infty }\left[ y-E\left( Y|X=x\right) \right] ^{2}\cdot \frac{f_{XY}\left( x,y\right) }{f_{X}\left( x\right) }dy}
\end{eqnarray*}です。このとき、\begin{equation*}
\sigma _{Y|X=x}^{2}=\mathrm{Var}\left( Y|X=x\right)
\end{equation*}という関係が成り立つため、\(X=x\)のもとでの\(Y\)の条件付き分散を、\begin{equation*}\sigma _{Y|X=x}^{2}
\end{equation*}と表記することもできます。

条件付き分散の導出プロセスの簡略化

絶対連続型の確率変数\(X,Y\)について\(Y=y\)のもとでの\(X\)の条件付き分散は、\begin{equation*}\mathrm{Var}\left( X|Y=y\right) =\int_{-\infty }^{+\infty }\left[ x-E\left(
X|Y=y\right) \right] ^{2}\cdot f_{X|Y=y}\left( x\right) dx
\end{equation*}と定義されるため、条件付き分散を導出する際には以下の手順にしたがう必要があります。

1. 確率変数\(X\)の条件付き期待値\(E\left( X|Y=y\right) \)を導出する。
2. 確率変数\(X\)がとり得るそれぞれの値\(x\in X\left( \Omega\right) \)について、それと条件付き期待値\(E\left(X|Y=y\right) \)の差の平方\(\left[ x-E\left(X|Y=y\right) \right] ^{2}\)をとり、さらに\(f_{X|Y=y}\left( x\right) \)との差を求める。
3. 得られたすべての積を全区間上で積分する。

ただ、以下の命題を利用することにより、条件付き分散の導出プロセスを簡略化できます。

以上の命題を踏まえると、条件付き分散を導出する際に、以下の手順にしたがってもよいことが保証されます。

1. 確率変数\(X\)の条件付き期待値\(E\left( X|Y=y\right) \)を導出する。
2. 確率変数\(X^{2}\)の条件付き期待値\(E\left( X^{2}|Y=y\right) \)を導出する。
3. 以上を踏まえた上で、\(E\left( X^{2}|Y=y\right) -\left[ E\left( X|Y=y\right) \right] ^{2}\)を計算する。

もう一方の確率変数\(Y\)についても同様の主張が成り立ちます。

全分散の法則

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて2つの絶対連続型の確率変数\(X,Y:\Omega\rightarrow \mathbb{R} \)が与えられた状況を想定します。

標本点\(\omega \in \Omega \)のもとでの\(Y\)の実現値は\(Y\left( \omega \right)\in \mathbb{R} \)であるため、\(Y=Y\left( \omega \right) \)のもとでの\(X\)の条件付き期待値\(E\left( X|Y=Y\left( \omega \right) \right) \)が定義可能です。このような事情を踏まえると、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}E\left( X|Y\right) \left( \omega \right) =E\left( X|Y=Y\left( \omega \right)
\right)
\end{equation*}を値として定める確率変数\begin{equation*}
E\left( X|Y\right) :\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。これを\(Y\)のもとでの\(X\)の条件付き期待値（conditional expectation of \(X\) given \(Y\)）と呼びます。

標本点\(\omega \in \Omega \)のもとでの\(Y\)の実現値は\(Y\left( \omega \right)\in \mathbb{R} \)であるため、\(Y=Y\left( \omega \right) \)のもとでの\(X\)の条件付き分散\(\mathrm{Var}\left( X|Y=Y\left( \omega \right) \right) \)が定義可能です。このような事情を踏まえると、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\mathrm{Var}\left( X|Y\right) \left( \omega \right) =\mathrm{Var}\left(
X|Y=Y\left( \omega \right) \right)
\end{equation*}を値として定める確率変数\begin{equation*}
\mathrm{Var}\left( X|Y\right) :\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。これを\(Y\)のもとでの\(X\)の条件付き期待値（conditional variance of \(X\) given \(Y\)）と呼びます。

条件付き期待値\(E\left( X|Y\right) \)は確率変数であるため、その分散\begin{equation*}\mathrm{Var}\left( E\left( X|Y\right) \right)
\end{equation*}をとることができます。また、条件付き分散\(\mathrm{Var}\left( X|Y\right) \)は確率変数であるため、その期待値\begin{equation*}E\left( \mathrm{Var}\left( X|Y\right) \right)
\end{equation*}をとることができます。これらと確率変数\(X\)の条件付きではない分散\begin{equation*}\mathrm{Var}\left( X\right)
\end{equation*}の間には以下の関係\begin{equation*}
\mathrm{Var}\left( X\right) =E\left( \mathrm{Var}\left( X|Y\right) \right) +\mathrm{Var}\left( E\left( X|Y\right) \right)
\end{equation*}が成り立ちます。つまり、\(Y\)のもとでの\(X\)の条件付き分散の期待値と、\(Y\)のもとでの\(X\)の条件付き期待値の分散の和をとると、\(X\)の分散が得られます。これを全分散の法則（law of total variance）と呼びます。

もう一方の確率変数\(Y\)についても同様の主張が成り立ちます。

演習問題