離散型確率変数に関するチェビシェフの不等式

マルコフの不等式が抱える課題

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)が与えられており、その確率分布が確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。つまり、確率変数\(X\)が値\(x\in \mathbb{R} \)をとる確率は、\begin{equation*}P\left( X=x\right) =f_{X}\left( x\right)
\end{equation*}であり、確率変数\(X\)の値が集合\(A\subset \mathbb{R} \)に属する確率は、\begin{equation*}P\left( X\in A\right) =\sum_{x\in A}f_{X}\left( x\right)
\end{equation*}であるということです。

確率変数\(X\)が非負の実数のみを値としてとり得るとともに、その期待値\(E\left( X\right) \)が有限な実数として定まる場合には、マルコフの不等式を利用することにより、それぞれの正の実数\(c>0\)に対して、確率変数\(X\)の値が\(c\)以上である確率の上限を特定できることが明らかになりました。結果を簡単に復習します。

つまり、確率変数\(X\)の確率分布の全容は分からない場合でも期待値\(E\left( X\right) \)さえ明らかであれば、確率\(P\left( X\geq c\right) \)の真の値が収まる範囲を特定することはできるということです。期待値という限られた情報から確率分布に関する有益な情報を導き出せるという点においてマルコフの不等式は優れています。その反面、マルコフの不等式は期待値だけを拠り所とした指標であるため、確率分布の形状や、問題としている値\(c\)の選び方によっては、マルコフの不等式が与える値\(\frac{E\left( X\right) }{c}\)は確率\(P\left( X\geq c\right) \)の真の値を特定する上であまり役に立たない状況も起こり得ます。以下の例より明らかです。

マルコフの不等式は期待値だけを拠り所とした指標であるため、場合によってはそれほど役に立たないことが明らかになりました。では、期待値に加えて分散もまた明らかになっている場合、その追加的な情報を活用することにより、マルコフの不等式よりも優れた精度で確率分布に関する情報を引き出すことはできるでしょうか。以下で順番に考えます。

離散型確率変数に関するチェビシェフの不等式

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)が与えられており、その確率分布が確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。

確率変数\(X\)が与えられれば、それぞれの\(\omega \in\Omega \)に対して、\begin{equation*}X^{2}\left( \omega \right) =\left[ X\left( \omega \right) \right] ^{2}
\end{equation*}を定める新たな関数\begin{equation*}
X^{2}:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能ですが、LOTUSを用いることにより、その期待値は、\begin{equation*}
E\left( X^{2}\right) =\sum_{x\in X\left( \Omega \right) }\left[ x^{2}\cdot
f_{X}\left( x\right) \right] \end{equation*}として定まることに注意してください。この期待値\(E\left( X^{2}\right) \)が有限な実数として定まるものと仮定します。この場合、もとの確率変数\(X\)は自乗可積分（square integrable）であると言います。自乗可積分な確率変数\(X\)については、その期待値と分散\begin{eqnarray*}E\left( X\right) &=&\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X}\left( x\right) \right] \\
V\left( X\right) &=&\sum_{x\in X\left( \Omega \right) }\left[ \left( x-\mu
\right) ^{2}\cdot f_{X}\left( x\right) \right] \end{eqnarray*}がそれぞれ有限な実数として定まることに注意してください（演習問題）。

確率変数\(X\)とその期待値\(E\left( X\right) \)が与えられれば、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left\vert X-E\left( X\right) \right\vert \left( \omega \right) =\left\vert
X\left( \omega \right) -E\left( X\right) \right\vert
\end{equation*}を定める新たな関数\begin{equation*}
\left\vert X-E\left( X\right) \right\vert :\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。これは、確率変数\(X\)が定めるそれぞれの値と期待値\(E\left( X\right) \)の間の距離を与える確率変数です。正の実数\(k>0\)を任意に選んだとき、確率変数\(\left\vert X-E\left( X\right) \right\vert \)の値が\(k\)以上である確率は、\begin{eqnarray*}P\left( \left\vert X-E\left( X\right) \right\vert \geq k\right) &=&P\left(
\left\{ \omega \in \Omega \ |\ \left\vert X-E\left( X\right) \right\vert
\left( \omega \right) \geq k\right\} \right) \\
&=&P\left( \left\{ \omega \in \Omega \ |\ \left\vert X\left( \omega \right)
-E\left( X\right) \right\vert \geq k\right\} \right)
\end{eqnarray*}として定まりますが、先の条件が満たされる場合には、すなわち、\(X\)が自乗可積分である場合には、以下の関係\begin{equation*}P\left( \left\vert X-E\left( X\right) \right\vert \geq k\right) \leq \frac{V\left( X\right) }{k^{2}}
\end{equation*}が成り立つことが保証されます。これをチェビシェフの不等式（Chebyshev’s inequality）と呼びます。

マルコフの不等式は期待値だけを拠り所とした指標である一方で、チェビシェフの不等式は期待値と分散を拠り所をした指標です。つまり、チェビシェフの不等式では分散という追加的な情報を活用しているため、マルコフの不等式よりも優れた精度で確率分布に関する情報を引き出せるものと予想されます。先の例を通じて確認します。