2つの離散型確率変数の共分散

2つの離散型確率変数の共分散

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の同時確率変数\begin{equation*}\left( X,Y\right) :\Omega \rightarrow \mathbb{R} ^{2}
\end{equation*}が与えられており、その同時確率分布が同時確率質量関数\begin{equation*}
f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)と一致する確率は、\begin{equation*}P\left( X=x\wedge Y=y\right) =f_{XY}\left( x,y\right)
\end{equation*}であり、同時確率変数\(\left( X,Y\right) \)の値が集合\(A\times B\subset \mathbb{R} ^{2}\)に属する確率は、\begin{equation*}P\left( \left( X,Y\right) \in A\times B\right) =\sum_{\left( x,y\right) \in
A\times B}f_{XY}\left( x,y\right)
\end{equation*}であるということです。以上の状況において、2つの離散型確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)の関係を表す指標をどのように定義すればよいでしょうか。順番に考えます。

同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)を周辺化すれば個々の確率変数\(X,Y\)に関する周辺確率質量関数\begin{eqnarray*}f_{X} &:&\mathbb{R} \rightarrow \mathbb{R} \\
f_{Y} &:&\mathbb{R} \rightarrow \mathbb{R} \end{eqnarray*}がそれぞれ得られますが、そこから導かれる確率変数\(X,Y\)の期待値\begin{eqnarray*}E\left( X\right) &=&\sum_{x\in X\left( \Omega \right) }xf_{X}\left(
x\right) \\
E\left( Y\right) &=&\sum_{y\in Y\left( \Omega \right) }yf_{Y}\left(
y\right)
\end{eqnarray*}がともに有限な実数として定まるものとします。

座標平面の横軸に確率変数\(X\)がとり得る値を並べ、縦軸に確率変数\(Y\)がとり得る値を並べます。つまり、横軸を\(X\left( \Omega \right) \)とみなし、縦軸を\(Y\left( \Omega \right) \)とみなすということです。その上で、2つの確率変数の期待値を成分として持つベクトル\(\left( E\left( X\right) ,E\left( Y\right) \right) \)を原点座標とみなします（下図）。

先の確率関数\(X,Y:\Omega \rightarrow \mathbb{R} \)とそれらの期待値\(E\left(X\right) ,E\left( Y\right) \)を踏まえた上で、それぞれの標本点\(\omega \in \Omega \)に対して、\begin{equation*}\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) =\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] \end{equation*}を値として定める確率変数\begin{equation*}
\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] :\Omega
\rightarrow \mathbb{R} \end{equation*}を定義します。この確率変数の実現値の符号には以下のような意味があります。

試行によって標本点\(\omega \in \Omega \)が実現した場合、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値は、\begin{equation*}\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) =\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] \end{equation*}となりますが、この値が正である場合には、\begin{eqnarray*}
&&\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) >0 \\
&\Leftrightarrow &\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] >0\quad \because \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \text{の定義} \\
&\Rightarrow &\left[ X\left( \omega \right) -E\left( X\right) >0\wedge
Y\left( \omega \right) -E\left( Y\right) >0\right] \vee \left[ X\left(
\omega \right) -E\left( X\right) <0\wedge Y\left( \omega \right) -E\left(
Y\right) <0\right] \\
&\Leftrightarrow &\left[ X\left( \omega \right) >E\left( X\right) \wedge
Y\left( \omega \right) >E\left( Y\right) \right] \vee \left[ X\left( \omega
\right) <E\left( X\right) \wedge Y\left( \omega \right) <E\left( Y\right) \right] \end{eqnarray*}となります。つまり、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が正である場合には、確率変数\(X,Y\)の実現値\(X\left( \omega \right) ,Y\left( \omega \right) \)がともに自身の期待値より大きいか、ともに自身の期待値よりも小さいか、その少なくとも一方が成り立ちます。言い換えると、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が正である場合には、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right) ,Y\left( \omega \right)\right) \)は先の座標平面の第1象限または第3象限上（下図の青い領域）の点になるということです。この場合、\(X\)と\(Y\)の実現値は同じ方向にある（concordant）と言います。

逆に、確率変数\(\left[ X-E\left(X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が負の場合には、\begin{eqnarray*}&&\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \left(
\omega \right) <0 \\
&\Leftrightarrow &\left[ X\left( \omega \right) -E\left( X\right) \right] \left[ Y\left( \omega \right) -E\left( Y\right) \right] <0\quad \because \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \text{の定義} \\
&\Rightarrow &\left[ X\left( \omega \right) -E\left( X\right) >0\wedge
Y\left( \omega \right) -E\left( Y\right) <0\right] \vee \left[ X\left(
\omega \right) -E\left( X\right) <0\wedge Y\left( \omega \right) -E\left(
Y\right) >0\right] \\
&\Leftrightarrow &\left[ X\left( \omega \right) >E\left( X\right) \wedge
Y\left( \omega \right) <E\left( Y\right) \right] \vee \left[ X\left( \omega
\right) <E\left( X\right) \wedge Y\left( \omega \right) >E\left( Y\right) \right] \end{eqnarray*}となります。つまり、確率変数\(\left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が負である場合には、確率変数\(X,Y\)の実現値\(X\left( \omega \right) ,Y\left( \omega \right) \)の一方が自身の期待値より大きく、他方が自身の期待値よりも小さくなります。言い換えると、確率変数\(\left[X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の実現値が負である場合には、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega\right) ,Y\left( \omega \right) \right) \)は先の座標平面の第2象限または第4象限上（下図のグレーの領域）の点になるということです。この場合、\(X\)と\(Y\)の実現値は反対方向にある（discordant）と言います。

確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値が正であることは、すなわち、\begin{equation*}E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) >0
\end{equation*}が成り立つことは、実現値\(\left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \left( \omega \right) \)の多くが正であることを意味します。さらにこれは、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right) ,Y\left(\omega \right) \right) \)の多くが先の座標平面の第1象限または第3象限上（青い領域）に分布していることを意味します。この場合、試行を実際に行った結果、より大きい値\(X\left( \omega \right) \)が実現していることが観察された場合には、それと同時に、より大きい値\(Y\left( \omega \right) \)が実現していることが観察される傾向があることになります。同時に、より小さい値\(X\left( \omega \right) \)が実現していることが観察された場合には、それと同時に、より小さい値\(Y\left( \omega \right) \)が実現していることが観察される傾向があることになります。期待値\(E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right]\right) \)の値が大きいほど、以上の傾向は顕著になります。

確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値が負であることは、すなわち、\begin{equation*}E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) <0
\end{equation*}が成り立つことは、実現値\(\left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \left( \omega \right) \)の多くが負であることを意味します。さらにこれは、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right) ,Y\left(\omega \right) \right) \)の多くが先の座標平面の第2象限または第4象限上（グレーの領域）に分布していることを意味します。この場合、試行を実際に行った結果、より大きい値\(X\left(\omega \right) \)が実現していることが観察された場合には、それと同時に、より小さい値\(Y\left(\omega \right) \)が実現していることが観察される傾向があることになります。同時に、より小さい値\(X\left( \omega \right) \)が実現していることが観察された場合には、それと同時に、より大きい値\(Y\left( \omega \right) \)が実現していることが観察される傾向があることになります。期待値\(E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \right) \)の値が小さいほど、以上の傾向は顕著になります。

確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値がゼロであることは、すなわち、\begin{equation*}E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) =0
\end{equation*}が成り立つことは、実現値\(\left[ X-E\left( X\right) \right] \left[ Y-E\left(Y\right) \right] \left( \omega \right) \)の分布に対して傾向を見出すことができないことを意味します。この場合、確率変数\(X,Y\)の実現値を成分として持つベクトル\(\left( X\left( \omega \right),Y\left( \omega \right) \right) \)の分布に関しても傾向を見出すことはできないため、\(X\)の実現値\(X\left( \omega \right) \)と\(Y\)の実現値\(Y\left( \omega \right) \)の起こりやすさについて何らかの傾向を見出すことはできません。

以上の考察により、確率変数\(\left[ X-E\left( X\right) \right] \left[Y-E\left( Y\right) \right] \)の期待値の符号や大きさは、2つの離散型確率変数\(X,Y\)の実現値の関係を描写する指標として有用であることが明らかになりました。このような事情を踏まえた上で、確率変数\(\left[ X-E\left(X\right) \right] \left[ Y-E\left( Y\right) \right] \)の期待値を確率変数\(X,Y\)の共分散（covariance）と呼び、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}で表記します。

共分散が有限な値として定まるための条件

離散型の確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されます。つまり、共分散は確率変数\(\left[ E-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \)の期待値です。一般に、確率変数の期待値は有限な実数として定まるとは限らず、また、期待値が存在しないような状況も起こり得るため、共分散も同様です。共分散が有限な実数として定まるための条件を特定できるのでしょうか。

確率変数\(X,Y\)の分散がともに有限な正の実数である場合、\(X\)と\(Y\)の共分散は有限な実数として定まることが保証されます。

共分散の導出プロセスの簡略化

離散型の確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されますが、これを以下のように表現することもできます。

共分散は単位に依存する

離散型確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されますが、その水準は確率変数\(X,Y\)の値の単位の選び方に大きく依存します。

つまり、同じデータを扱っていてもデータの単位を変えれば共分散の値が変わってしまうということです。3つの確率変数\(X,Y,Z\)について共分散\(C\left(X,Y\right) ,C\left( X,Z\right) ,C\left( Y,Z\right) \)をそれぞれとったとき、\(X,Y,Z\)の値の単位が異なる場合には、これらの共分散の値を比較することに意味はありません。共分散の値は単位に依存してしまうからです。共分散が抱えるこのような問題を解決するために相関係数（correlation）と呼ばれる指標を利用します。詳細は場を改めて解説します。

独立な2つの確率変数の共分散はゼロ

先の議論から明らかになったように、2つの離散型確率変数\(X,Y\)の共分散について、\begin{equation*}\mathrm{Cov}\left( X,Y\right) >0
\end{equation*}が成り立つ場合には、\(X\)の実現値が大きいほど\(Y\)の実現値もまた大きくなる傾向があり、同時に、\(X\)の実現値が小さいほど\(Y\)の実現値もまた小さくなる傾向があります。また、\begin{equation*}\mathrm{Cov}\left( X,Y\right) <0
\end{equation*}が成り立つ場合には、\(X\)の実現値が大きいほど\(Y\)の実現値は小さくなる傾向があり、同時に、\(X\)の実現値が小さいほど\(Y\)の実現値は大きくなる傾向があります。さらに、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =0
\end{equation*}が成り立つ場合には、\(X\)の実現値と\(Y\)の実現値に関して何らかの傾向を見出すことができません。

2つの離散型確率変数\(X,Y\)が独立である場合、\(X\)の値の起こりやすさと\(Y\)の値の起こりやすさの間に影響関係が存在しないため、\(X\)と\(Y\)の共分散はゼロになることが予想されます。これは正しい予想です。

上の命題の逆は成立するとは限りません。つまり、2つの確率変数\(X,Y\)の共分散がゼロである場合、これらの確率変数は独立であるとは限りません。以下の例より明らかです。

同一の確率変数の間の共分散

同一の確率変数どうしの共分散はその確率変数の分散と一致します。

共分散の対称性

離散型の確率変数\(X,Y\)について\(X\)と\(Y\)の共分散と\(Y\)と\(X\)の共分散は一致します。つまり、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =\mathrm{Cov}\left( Y,X\right)
\end{equation*}が成り立つということです。共分散が満たす以上の性質を対称性（symmetry）と呼びます。

共分散の双線型性

2つの離散型の確率変数\(X_{1},X_{2}:\Omega \rightarrow \mathbb{R} \)と定数\(c_{1},c_{2}\in \mathbb{R} \)が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}X=c_{1}X_{1}\left( \omega \right) +c_{2}X_{2}\left( \omega \right)
\end{equation*}を定める確率変数\(X:\Omega\rightarrow \mathbb{R} \)が定義可能です。さらに確率変数\(Y:\Omega \rightarrow \mathbb{R} \)を導入します。\(X_{1}\)と\(Y\)の共分散\(\mathrm{Cov}\left( X_{1},Y\right) \)および\(X_{2}\)と\(Y\)の共分散\(\mathrm{Cov}\left( X_{2},Y\right) \)が存在する場合には\(X\)と\(Y\)の共分散が存在するとともに、以下の関係\begin{equation*}\mathrm{Cov}\left( X,Y\right) =c_{1}\mathrm{Cov}\left( X_{1},Y\right) +c_{2}\mathrm{Cov}\left( X_{2},Y\right)
\end{equation*}すなわち、\begin{equation*}
\mathrm{Cov}\left( c_{1}X_{1}+c_{2}X_{2},Y\right) =c_{1}\mathrm{Cov}\left(
X_{1},Y\right) +c_{2}\mathrm{Cov}\left( X_{2},Y\right)
\end{equation*}が成り立つことが保証されます。同様に、\(Y\)と\(X_{1}\)の共分散\(\mathrm{Cov}\left(Y,X_{1}\right) \)および\(Y\)と\(X_{2}\)の共分散\(\mathrm{Cov}\left( Y,X_{2}\right) \)が存在する場合には\(Y\)と\(X\)の共分散が存在するとともに、以下の関係\begin{equation*}\mathrm{Cov}\left( Y,X\right) =c_{1}\mathrm{Cov}\left( Y,X_{1}\right) +c_{2}\mathrm{Cov}\left( Y,X_{2}\right)
\end{equation*}すなわち、\begin{equation*}
\mathrm{Cov}\left( Y,c_{1}X_{1}+c_{2}X_{2}\right) =c_{1}\mathrm{Cov}\left(
Y,X_{1}\right) +c_{2}\mathrm{Cov}\left( Y,X_{2}\right)
\end{equation*}が成り立つことが保証されます。共分散が満たす以上の性質を双線型性（bilinearity）と呼びます。

2つの離散型確率変数の和の期待値

2つの離散型確率変数\(X,Y:\Omega \rightarrow \mathbb{R} \)が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}Z\left( \omega \right) =X\left( \omega \right) +Y\left( \omega \right)
\end{equation*}を定める新たな確率関数\(Z:\Omega \rightarrow \mathbb{R} \)を定義します。\(X\)と\(Y\)が独立であるとともに分散\(\mathrm{Var}\left( X\right) \)および\(\mathrm{Var}\left( Y\right) \)が存在する場合には、確率変数\(Z\)の分散が存在するとともに、以下の関係\begin{equation*}\mathrm{Var}\left( Z\right) =\mathrm{Var}\left( X\right) +\mathrm{Var}\left(
Y\right)
\end{equation*}すなわち、\begin{equation*}
\mathrm{Var}\left( X+Y\right) =\mathrm{Var}\left( X\right) +\mathrm{Var}\left(
Y\right)
\end{equation*}が成り立つことは依然に示しました。一方、\(X\)と\(Y\)が独立ではない場合には以上の関係は成り立つとは限りません。ただ、その場合においても、以下の関係\begin{equation*}\mathrm{Var}\left( X+Y\right) =\mathrm{Var}\left( X\right) +\mathrm{Var}\left(
Y\right) +2\mathrm{Cov}\left( X,Y\right)
\end{equation*}が成り立つことは保証されます。

演習問題