2つの離散型確率変数の相関係数

共分散の欠点

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の同時確率変数\(\left( X,Y\right) :\Omega\rightarrow \mathbb{R} ^{2}\)が与えられており、その同時確率分布が同時確率質量関数\(f_{XY}:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)によって記述されているものとします。つまり、同時確率変数\(\left( X,Y\right) \)の値がベクトル\(\left( x,y\right) \in \mathbb{R} ^{2}\)と一致する確率は、\begin{equation*}P\left( X=x\wedge Y=y\right) =f_{XY}\left( x,y\right)
\end{equation*}であり、同時確率変数\(\left( X,Y\right) \)の値が集合\(A\times B\subset \mathbb{R} ^{2}\)に属する確率は、\begin{equation*}P\left( \left( X,Y\right) \in A\times B\right) =\sum_{\left( x,y\right) \in
A\times B}f_{XY}\left( x,y\right)
\end{equation*}であるということです。

確率変数\(X\)の値の分布と確率変数\(Y\)の値の分布の間の関連性を表現する指標として、共分散\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と呼ばれる指標を導入しました。共分散について、\begin{equation*}
\mathrm{Cov}\left( X,Y\right) >0
\end{equation*}が成り立つ場合には、\(X\)の値が大きいほど\(Y\)の値もまた大きくなる傾向があり、同時に、\(X\)の値が小さいほど\(Y\)の値もまた小さくなる傾向があります。また、\begin{equation*}\mathrm{Cov}\left( X,Y\right) <0
\end{equation*}が成り立つ場合には、\(X\)の値が大きいほど\(Y\)の値は小さくなる傾向があり、同時に、\(X\)の値が小さいほど\(Y\)の値は大きくなる傾向があります。さらに、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =0
\end{equation*}が成り立つ場合には、\(X\)の値と\(Y\)の値の分布に関して何らかの関連性を見出すことができません。

ただ、2つの確率変数の値の分布の関連性を表現する指標として共分散に欠点がないわけではありません。共分散\(\mathrm{Cov}\left( X,Y\right) \)の水準は確率変数\(X,Y\)の値の単位の選び方に依存します。以下の例より明らかです。

つまり、同じデータを扱っていてもデータの単位を変えれば共分散の値が変わってしまうということです。3つの確率変数\(X,Y,Z\)について共分散\(C\left(X,Y\right) ,C\left( X,Z\right) ,C\left( Y,Z\right) \)をそれぞれとったとき、\(X,Y,Z\)の値の単位が異なる場合には、これらの共分散の値を比較することに意味はありません。共分散の値は単位に依存してしまうからです。共分散が抱えるこのような問題を解決するために相関係数（correlation）と呼ばれる指標を利用します。

2つの離散型確率変数の相関係数

離散型の確率変数\(X,Y:\Omega\rightarrow \mathbb{R} \)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されます。特に、確率変数\(X,Y\)の分散がともに有限な正の実数として定まる場合、すなわち、\begin{eqnarray*}0 &<&\mathrm{Var}\left( X\right) <+\infty \\
0 &<&\mathrm{Var}\left( Y\right) <+\infty
\end{eqnarray*}が成り立つ場合、共分散\(\mathrm{Cov}\left( X,Y\right) \)もまた有限な実数として定まるだけでなく、標準偏差もまた有限な正の実数として定まるため、すなわち、\begin{eqnarray*}0 &<&\sigma _{X}=\sqrt{\mathrm{Var}\left( X\right) }<+\infty \\
0 &<&\sigma _{Y}=\sqrt{\mathrm{Var}\left( Y\right) }<+\infty
\end{eqnarray*}が成り立つため、以下の指標\begin{equation*}
\frac{\mathrm{Cov}\left( X,Y\right) }{\sigma _{X}\sigma _{Y}}
\end{equation*}が定義可能です。この指標を確率変数\(X,Y\)の相関係数（correlation）と呼び、\begin{equation*}\mathrm{Corr}\left( X,Y\right) ,\quad \rho \left( X,Y\right)
\end{equation*}で表記します。つまり、離散型確率変数\(X,Y\)の相関係数は、\begin{eqnarray*}\mathrm{Corr}\left( X,Y\right) &=&\frac{\mathrm{Cov}\left( X,Y\right) }{\sigma
_{X}\sigma _{Y}}\quad \because \text{相関係数の定義} \\
&=&\frac{E\left( \left[ X-E\left( X\right) \right] \left[ Y-E\left( Y\right) \right] \right) }{\sigma _{X}\sigma _{Y}}\quad \because \text{共分散の定義}
\end{eqnarray*}と定義される指標です。

相関係数は単位に依存しない

離散型確率変数\(X,Y\)の共分散は、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =E\left( \left[ X-E\left( X\right) \right] \left[
Y-E\left( Y\right) \right] \right)
\end{equation*}と定義されますが、先に指摘したように、その水準は確率変数\(X,Y\)の値の単位の選び方に大きく依存します。一方、離散型確率変数\(X,Y\)の相関係数は、\begin{equation*}\mathrm{Corr}\left( X,Y\right) =\frac{\mathrm{Cov}\left( X,Y\right) }{\sigma
_{X}\sigma _{Y}}
\end{equation*}と定義されますが、その水準は確率変数\(X,Y\)の値の単位の選び方に依存しません。

つまり、同じデータを扱っている限りにおいてデータの単位を変えても相関係数の値は不変です。3つの確率変数\(X,Y,Z\)について相関係数\(\mathrm{Corr}\left( X,Y\right) ,\mathrm{Corr}\left( X,Z\right) ,\mathrm{Corr}\left( Y,Z\right) \)をそれぞれとったとき、\(X,Y,Z\)の値の単位が異なる場合でも、これらの相関係数の値を比較することに意味があります。相関係数の値は単位に依存しないからです。

相関係数がとり得る値の範囲

相関係数が有限な実数として定まる場合、それは必ず\(-1\)以上\(1\)以下の実数として定まることが保証されます。

相関係数の意味（正の相関・負の相関・無相関）

相関係数と共分散の符号は常に一致します。

離散型の確率変数\(X,Y\)の相関係数が正である場合には、すなわち、\begin{equation*}\mathrm{Corr}\left( X,Y\right) >0
\end{equation*}が成り立つ場合には、\(X\)と\(Y\)は正の相関がある（positively correlated）と言います。先の命題より、\(X\)と\(Y\)が正の相関があることと、\begin{equation*}\mathrm{Cov}\left( X,Y\right) >0
\end{equation*}が成り立つことは必要十分です。したがって、\(X\)と\(Y\)の正の相関がある場合には、\(X\)の値が大きいほど\(Y\)の値もまた大きくなる傾向があり、同時に、\(X\)の値が小さいほど\(Y\)の値もまた小さくなる傾向があります。相関係数\(\mathrm{Corr}\left( X,Y\right) \)の最大値は\(1\)ですが、\(1\)に近づくにつれて先の傾向がより強くなります。

離散型の確率変数\(X,Y\)の相関係数が負である場合には、すなわち、\begin{equation*}\mathrm{Corr}\left( X,Y\right) <0
\end{equation*}が成り立つ場合には、\(X\)と\(Y\)は負の相関がある（negatively correlated）と言います。先の命題より、\(X\)と\(Y\)が負の相関があることと、\begin{equation*}\mathrm{Cov}\left( X,Y\right) <0
\end{equation*}が成り立つことは必要十分です。したがって、\(X\)と\(Y\)の負の相関がある場合には、\(X\)の値が大きいほど\(Y\)の値は小さくなる傾向があり、同時に、\(X\)の値が小さいほど\(Y\)の値は大きくなる傾向があります。相関係数\(\mathrm{Corr}\left( X,Y\right) \)の最小値は\(-1\)ですが、\(-1\)に近づくにつれて先の傾向がより強くなります。

離散型の確率変数\(X,Y\)の相関係数が非ゼロである場合には、すなわち、\begin{equation*}\mathrm{Corr}\left( X,Y\right) \not=0
\end{equation*}が成り立つ場合には、\(X\)と\(Y\)は相関がある（correlated）と言います。これは、\(X\)と\(Y\)が正の相関または負の相関があることを意味します。逆に、\(X\)と\(Y\)は相関がない場合には、すなわち、\begin{equation*}\mathrm{Corr}\left( X,Y\right) =0
\end{equation*}が成り立つ場合には、\(X\)と\(Y\)は無相関である（uncorrelated）であるとか相関がないなどと言います。先の命題より、\(X\)と\(Y\)が無相関であることと、\begin{equation*}\mathrm{Cov}\left( X,Y\right) =0
\end{equation*}が成り立つことは必要十分です。したがって、\(X\)と\(Y\)が無相関である場合には、\(X\)の値と\(Y\)の値の分布に関して何らかの関連性を見出すことができません。

2つの離散型確率変数\(X,Y\)が独立である場合、\(X\)の値の起こりやすさと\(Y\)の値の起こりやすさの間に影響関係が存在しないため、\(X\)の値と\(Y\)の値の分布に関して何らかの関連性を見出すことはできず、したがって\(X\)と\(Y\)は無相関になることが予想されます。これは正しい予想です。

同一の確率変数の間の相関係数

離散型の確率変数と自身との相関係数は\(1\)になります。

相関係数の対称性

離散型の確率変数\(X,Y\)について\(X\)と\(Y\)の相関係数と\(Y\)と\(X\)の相関係数は一致します。つまり、\begin{equation*}\mathrm{Corr}\left( X,Y\right) =\mathrm{Corr}\left( Y,X\right)
\end{equation*}が成り立つということです。相関係数が満たす以上の性質を対称性（symmetry）と呼びます。