2つの連続型確率変数の共分散

2つの連続型確率変数の共分散

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて絶対連続型の同時確率変数\begin{equation*}\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}
\end{equation*}が与えられているものとします。加えて、\(\left( X,Y\right) \)の同時分布が同時確率密度関数\begin{equation*}f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、\(\left( X,Y\right) \)の実現値が集合\(A\in \mathcal{B}\left( \mathbb{R} ^{2}\right) \)に属する確率が、\begin{equation*}P\left( \left( X,Y\right) \in A\right) =\int \int_{A}f_{XY}\left( x,y\right)
dxdy
\end{equation*}であるということです。以上の状況において、2つの絶対連続型確率変数\begin{eqnarray*}
X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}の関係を表す指標をどのように定義すればよいでしょうか。順番に考えます。

同時確率密度関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)を周辺化すれば個々の確率変数\(X,Y\)に関する周辺確率密度関数\begin{eqnarray*}f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}がそれぞれ得られますが、そこから導かれる確率変数\(X,Y\)の期待値\begin{eqnarray*}E\left( X\right) &=&\int_{-\infty }^{+\infty }xf_{X}\left( x\right) dx \\
E\left( Y\right) &=&\int_{-\infty }^{+\infty }yf_{Y}\left( y\right) dy
\end{eqnarray*}がともに有限な実数として定まるものとします。

座標平面の横軸に確立変数\(X\)の値を並べ、縦軸に確立変数\(Y\)の値を並べます。つまり、横軸\(X\left( \Omega \right) \)とみなし、縦軸を\(Y\left( \Omega \right) \)とみなすということです。その上で、2つの確率変数の期待値からなるベクトル\(\left( E\left(X\right) ,E\left( Y\right) \right) \)を原点座標とみなします（下図）。

先の確率関数\(X,Y:\Omega \rightarrow \mathbb{R} \)とそれらの期待値\(E\left(X\right) ,E\left( Y\right) \)を踏まえた上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{equation*}\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) =\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] \end{equation*}を値として定める新たな確率変数\begin{equation*}
\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] :\Omega
\rightarrow \mathbb{R} \end{equation*}を定義します。この確率変数の実現値の符号には以下のような意味があります。

試行によって標本点\(\omega \in \Omega \)が実現した場合、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値は、\begin{equation*}\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) =\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] \end{equation*}となりますが、この値が正である場合には、\begin{eqnarray*}
&&\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) >0 \\
&\Leftrightarrow &\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] >0\quad \because \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \text{の定義} \\
&\Rightarrow &\left[ X\left( \omega \right) -E\left( X\right) >0\wedge
Y\left( \omega \right) -E\left( Y\right) >0\right] \vee \left[ X\left(
\omega \right) -E\left( X\right) <0\wedge Y\left( \omega \right) -E\left(
Y\right) <0\right] \\
&\Leftrightarrow &\left[ X\left( \omega \right) >E\left( X\right) \wedge
Y\left( \omega \right) >E\left( Y\right) \right] \vee \left[ X\left( \omega
\right) <E\left( X\right) \wedge Y\left( \omega \right) <E\left( Y\right) \right] \end{eqnarray*}となります。つまり、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が正である場合には、確率変数\(X,Y\)の実現値\(X\left( \omega \right) ,Y\left( \omega \right) \)がともに自身の期待値より大きいか、ともに自身の期待値よりも小さいか、その少なくとも一方が成り立ちます。言い換えると、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が正である場合には、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right) ,Y\left( \omega \right)\right) \)は先の座標平面の第1象限または第3象限上（下図の青い領域）の点になるということです。この場合、\(X\)と\(Y\)の実現値は同じ方向にある（concordant）と言います。

逆に、確率変数\(\left[ X-E\left(X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が負の場合には、\begin{eqnarray*}&&\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) <0 \\
&\Leftrightarrow &\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] <0\quad \because \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \text{の定義} \\
&\Rightarrow &\left[ X\left( \omega \right) -E\left( X\right) >0\wedge
Y\left( \omega \right) -E\left( Y\right) <0\right] \vee \left[ X\left(
\omega \right) -E\left( X\right) <0\wedge Y\left( \omega \right) -E\left(
Y\right) >0\right] \\
&\Leftrightarrow &\left[ X\left( \omega \right) >E\left( X\right) \wedge
Y\left( \omega \right) <E\left( Y\right) \right] \vee \left[ X\left( \omega
\right) <E\left( X\right) \wedge Y\left( \omega \right) >E\left( Y\right) \right] \end{eqnarray*}となります。つまり、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が負である場合には、確率変数\(X,Y\)の実現値\(X\left( \omega \right) ,Y\left( \omega \right) \)の一方が自身の期待値より大きく、他方が自身の期待値よりも小さくなります。言い換えると、確率変数\(\left[X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が負である場合には、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega\right) ,Y\left( \omega \right) \right) \)は先の座標平面の第2象限または第4象限上（下図のグレーの領域）の点になるということです。この場合、\(X\)と\(Y\)の実現値は反対方向にある（discordant）と言います。

確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値が正であることは、すなわち、\begin{equation*}E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) >0
\end{equation*}が成り立つことは、実現値\(\left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \left( \omega \right) \)の多くが正であることを意味します。さらにこれは、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right) ,Y\left(\omega \right) \right) \)の多くが先の座標平面の第1象限または第3象限上（青い領域）に分布していることを意味します。この場合、試行を実際に行った結果、より大きい値\(X\left( \omega \right) \)が実現していることが観察された場合には、それと同時に、より大きい値\(Y\left( \omega \right) \)が実現していることが観察される傾向があることになります。同時に、より小さい値\(X\left( \omega \right) \)が実現していることが観察された場合には、それと同時に、より小さい値\(Y\left( \omega \right) \)が実現していることが観察される傾向があることになります。期待値\(E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right]\right) \)の値が大きいほど、以上の傾向は顕著になります。

確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値が負であることは、すなわち、\begin{equation*}E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) <0
\end{equation*}が成り立つことは、実現値\(\left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \left( \omega \right) \)の多くが負であることを意味します。さらにこれは、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right) ,Y\left(\omega \right) \right) \)の多くが先の座標平面の第2象限または第4象限上（グレーの領域）に分布していることを意味します。この場合、試行を実際に行った結果、より大きい値\(X\left(\omega \right) \)が実現していることが観察された場合には、それと同時に、より小さい値\(Y\left(\omega \right) \)が実現していることが観察される傾向があることになります。同時に、より小さい値\(X\left( \omega \right) \)が実現していることが観察された場合には、それと同時に、より大きい値\(Y\left( \omega \right) \)が実現していることが観察される傾向があることになります。期待値\(E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \right) \)の値が小さいほど、以上の傾向は顕著になります。

確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値がゼロであることは、すなわち、\begin{equation*}E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) =0
\end{equation*}が成り立つことは、実現値\(\left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \left( \omega \right) \)の分布に対して傾向を見出すことができないことを意味します。この場合、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right),Y\left( \omega \right) \right) \)の分布に関しても傾向を見出すことはできないため、\(X\)の実現値\(X\left( \omega \right) \)と\(Y\)の実現値\(Y\left( \omega \right) \)の起こりやすさについて何らかの傾向を見出すことはできません。

以上の考察により、確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値の符号や大きさは、2つの離散型確率変数\(X,Y\)の実現値の関係を描写する指標として有用であることが明らかになりました。このような事情を踏まえた上で、確率変数\(\left[ X-E\left(X\right) \right] \left[ Y-E\left( Y\right) \right] \)の期待値を確率変数\(X,Y\)の共分散（covariance）と呼び、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}で表記します。

共分散が有限な値として定まるための条件

絶対連続型の確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されます。つまり、共分散は確率変数\(\left[ E-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の期待値です。一般に、確率変数の期待値は有限な実数として定まるとは限らず、また、期待値が存在しないような状況も起こり得るため、共分散も同様です。共分散が有限な実数として定まるための条件を特定できるのでしょうか。

確率変数\(X,Y\)の分散がともに有限な正の実数である場合、\(X\)と\(Y\)の共分散は有限な実数として定まることが保証されます。

共分散の導出プロセスの簡略化

絶対連続型の確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されますが、これを以下のように表現することもできます。

共分散は単位に依存する

絶対連続型確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されますが、その水準は確率変数\(X,Y\)の値の単位の選び方に大きく依存します。

つまり、同じデータを扱っていてもデータの単位を変えれば共分散の値が変わってしまうということです。3つの確率変数\(X,Y,Z\)について共分散\(C\left(X,Y\right) ,C\left( X,Z\right) ,C\left( Y,Z\right) \)をそれぞれとったとき、\(X,Y,Z\)の値の単位が異なる場合には、これらの共分散の値を比較することに意味はありません。共分散の値は単位に依存してしまうからです。共分散が抱えるこのような問題を解決するために相関係数（correlation）と呼ばれる指標を利用します。詳細は場を改めて解説します。

独立な確率変数の共分散はゼロ

先の議論から明らかになったように、2つの絶対連続型確率変数\(X,Y\)の共分散について、\begin{equation*}\mathrm{Cov}\left( X,Y\right) >0
\end{equation*}が成り立つ場合には、\(X\)の値が大きいほど\(Y\)の値もまた大きくなる傾向があり、同時に、\(X\)の値が小さいほど\(Y\)の値もまた小さくなる傾向があります。また、\begin{equation*}\mathrm{Cov}\left( X,Y\right) <0
\end{equation*}が成り立つ場合には、\(X\)の値が大きいほど\(Y\)の値は小さくなる傾向があり、同時に、\(X\)の値が小さいほど\(Y\)の値は大きくなる傾向があります。さらに、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =0
\end{equation*}が成り立つ場合には、\(X\)の値と\(Y\)の値の分布に関して何らかの関連性を見出すことができません。

2つの絶対連続型確率変数\(X,Y\)が独立である場合、\(X\)の値の起こりやすさと\(Y\)の値の起こりやすさの間に影響関係が存在しないため、\(X\)の値と\(Y\)の値の分布に関して何らかの関連性を見出すことはできず、したがって\(X\)と\(Y\)の共分散はゼロになることが予想されます。これは正しい予想です。

先の命題の逆は成立するとは限りません。つまり、2つの確率変数\(X,Y\)の共分散がゼロである場合、これらの確率変数は独立であるとは限りません。以下の例より明らかです。

同一の確率変数の間の共分散

絶対連続型の確率変数と自身との共分散は分散と一致します。

共分散の対称性

絶対連続型の確率変数\(X,Y\)について\(X\)と\(Y\)の共分散と\(Y\)と\(X\)の共分散は一致します。つまり、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =\mathrm{Cov}\left( Y,X\right)
\end{equation*}が成り立つということです。共分散が満たす以上の性質を対称性（symmetry）と呼びます。

共分散の双線型性

2つの絶対連続型の確率変数\(X_{1},X_{2}:\Omega \rightarrow \mathbb{R} \)と定数\(c_{1},c_{2}\in \mathbb{R} \)が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}X=c_{1}X_{1}\left( \omega \right) +c_{2}X_{2}\left( \omega \right)
\end{equation*}を定める確率変数\(X:\Omega\rightarrow \mathbb{R} \)が定義可能です。さらに確率変数\(Y:\Omega \rightarrow \mathbb{R} \)を導入します。\(X_{1}\)と\(Y\)の共分散\(\mathrm{Cov}\left( X_{1},Y\right) \)および\(X_{2}\)と\(Y\)の共分散\(\mathrm{Cov}\left( X_{2},Y\right) \)が存在する場合には\(X\)と\(Y\)の共分散が存在するとともに、以下の関係\begin{equation*}\mathrm{Cov}\left( X,Y\right) =c_{1}\mathrm{Cov}\left( X_{1},Y\right) +c_{2}\mathrm{Cov}\left( X_{2},Y\right)
\end{equation*}すなわち、\begin{equation*}
\mathrm{Cov}\left( c_{1}X_{1}+c_{2}X_{2},Y\right) =c_{1}\mathrm{Cov}\left(
X_{1},Y\right) +c_{2}\mathrm{Cov}\left( X_{2},Y\right)
\end{equation*}が成り立つことが保証されます。同様に、\(Y\)と\(X_{1}\)の共分散\(\mathrm{Cov}\left(Y,X_{1}\right) \)および\(Y\)と\(X_{2}\)の共分散\(\mathrm{Cov}\left( Y,X_{2}\right) \)が存在する場合には\(Y\)と\(X\)の共分散が存在するとともに、以下の関係\begin{equation*}\mathrm{Cov}\left( Y,X\right) =c_{1}\mathrm{Cov}\left( Y,X_{1}\right) +c_{2}\mathrm{Cov}\left( Y,X_{2}\right)
\end{equation*}すなわち、\begin{equation*}
\mathrm{Cov}\left( Y,c_{1}X_{1}+c_{2}X_{2}\right) =c_{1}\mathrm{Cov}\left(
Y,X_{1}\right) +c_{2}\mathrm{Cov}\left( Y,X_{2}\right)
\end{equation*}が成り立つことが保証されます。共分散が満たす以上の性質を双線型性（bilinearity）と呼びます。

2つの連続型確率変数の和の期待値

2つの絶対連続型確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}Z\left( \omega \right) =X\left( \omega \right) +Y\left( \omega \right)
\end{equation*}を定める新たな確率関数\begin{equation*}
Z:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。\(X\)と\(Y\)が独立であるとともに\(\mathrm{Var}\left( X\right) \)および\(\mathrm{Var}\left( Y\right) \)が有限な実数として定まる場合には、確率変数\(Z\)の分散もまた有限な実数として定まるとともに、以下の関係\begin{equation*}\mathrm{Var}\left( Z\right) =\mathrm{Var}\left( X\right) +\mathrm{Var}\left(
Y\right)
\end{equation*}すなわち、\begin{equation*}
\mathrm{Var}\left( X+Y\right) =\mathrm{Var}\left( X\right) +\mathrm{Var}\left(
Y\right)
\end{equation*}が成り立つことは以前に示しました。一方、\(X\)と\(Y\)が独立ではない場合には以上の関係は成り立つとは限りません。ただ、その場合においても、以下の関係\begin{equation*}\mathrm{Var}\left( X+Y\right) =\mathrm{Var}\left( X\right) +\mathrm{Var}\left(
Y\right) +2\mathrm{Cov}\left( X,Y\right)
\end{equation*}が成り立つことは保証されます。

演習問題