離散型確率変数に関するマルコフの不等式

離散型確率変数に関するマルコフの不等式

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)が与えられており、その確率分布が確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。つまり、確率変数\(X\)が値\(x\in \mathbb{R} \)をとる確率は、\begin{equation*}P\left( X=x\right) =f_{X}\left( x\right)
\end{equation*}であり、確率変数\(X\)の値が集合\(A\subset \mathbb{R} \)に属する確率は、\begin{equation*}P\left( X\in A\right) =\sum_{x\in A}f_{X}\left( x\right)
\end{equation*}であるということです。

この確率変数\(X\)は以下の2つの条件を満たすものとします。1つ目は、\(X\)が非負の実数のみを値としてとり得るということです。すなわち、\begin{equation*}\forall \omega \in \Omega :X\left( \omega \right) \geq 0
\end{equation*}が成り立つということです。2つ目は、\(X\)の期待値\begin{equation*}E\left( X\right) =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X}\left( x\right) \right] \end{equation*}が有限な実数として定まるということです。

正の実数\(c>0\)を任意に選んだとき、確率変数\(X\)の値が\(c\)以上である確率は、\begin{equation*}P\left( X\geq c\right) =P\left( \left\{ \omega \in \Omega \ |\ X\left(
\omega \right) \geq c\right\} \right)
\end{equation*}として定まりますが、先の条件が満たされる場合には、以下の関係\begin{equation*}
P\left( X\geq c\right) \leq \frac{E\left( X\right) }{c}
\end{equation*}が成り立つことが保証されます。これをマルコフの不等式（Markov’s inequality）と呼びます。

確率変数\(X\)が非負の実数のみを値としてとり得るとともに期待値\(E\left( X\right) \)が有限な実数として定まる場合には、任意の\(c>0\)について以下の関係\begin{equation*}P\left( X\geq c\right) \leq \frac{E\left( X\right) }{c}
\end{equation*}が成り立つことが明らかになりました。以上の事実をどのように理解すればよいでしょうか。

様々な確率変数\(X_{1},X_{2},X_{3},\cdots \)が存在する状況において、これらの確率変数がある値\(c\)以上の値をとる確率どうしを比較します。上の命題によると、これらの確率変数\(X_{1},X_{2},X_{3},\cdots \)の中でも最大の期待値を持つ確率変数のもとで、ある値\(c\)以上の値が実現する確率は最大になります。逆に、確率変数\(X_{1},X_{2},X_{3},\cdots \)の中でも最小の期待値を持つ確率変数のもとで、ある値\(c\)以上の値が実現する確率は最小になります。つまり、より大きい期待値\(E\left( X\right) \)を持つ確率変数\(X\)のもとで、ある値\(c\)以上の値が実現する確率はより大きく評価され、逆に、より小さい期待値\(E\left( X\right) \)を持つ確率変数\(X\)のもとで、ある値\(c\)以上の値が実現する確率はより小さく評価されます。

先の命題は、確率変数がある値以上の値をとる確率の上限を評価する際にも有用です。つまり、\begin{equation*}
P\left( X\geq c\right) \leq \frac{E\left( X\right) }{c}
\end{equation*}という関係が成り立つため、確率変数\(X\)が\(c\)以上の値をとる確率の上限が\(\frac{E\left( X\right) }{c}\)であることが保証されます。

確率変数の絶対値に関するマルコフの不等式

マルコフの不等式では確率変数\(X:\Omega \rightarrow \mathbb{R} \)が非負の実数のみを値としてとり得る状況を想定しています。一方、\(X\)が負の値をとり得る場合においても、その絶対値\(\left\vert X\right\vert \)をとれば、すなわち、それぞれの\(\omega \in\Omega \)に対して、\begin{equation*}\left\vert X\right\vert \left( \omega \right) =\left\vert X\left( \omega
\right) \right\vert
\end{equation*}を定める確率変数\(\left\vert X\right\vert :\Omega \rightarrow \mathbb{R} \)に注目すれば、この確率変数\(\left\vert X\right\vert \)は非負の実数のみを値としてとり得るため、この新たな確率変数\(\left\vert X\right\vert \)に対して先の命題と同様の主張が成り立つことを保証できます。具体的には以下の通りです。

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)が与えられているものとします。加えて、\(X\)の確率分布が確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。さらに、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left\vert X\right\vert \left( \omega \right) =\left\vert X\left( \omega
\right) \right\vert
\end{equation*}を定める新たな確率変数\(\left\vert X\right\vert :\Omega \rightarrow \mathbb{R} \)を定義します。

この確率変数\(\left\vert X\right\vert \)の期待値が有限な実数として定まるものとします。LOTUSより、\(\left\vert X\right\vert \)の期待値は、\begin{equation*}E\left( \left\vert X\right\vert \right) =\sum_{x\in X\left( \Omega \right) }
\left[ \left\vert x\right\vert \cdot f_{X}\left( x\right) \right] \end{equation*}として定まることに注意してください。

正の実数\(c>0\)を任意に選んだとき、確率変数\(\left\vert X\right\vert \)の値が\(c\)以上である確率は、\begin{eqnarray*}P\left( \left\vert X\right\vert \geq c\right) &=&P\left( \left\{ \omega \in
\Omega \ |\ \left\vert X\right\vert \left( \omega \right) \geq c\right\}
\right) \\
&=&P\left( \left\{ \omega \in \Omega \ |\ \left\vert X\left( \omega \right)
\right\vert \geq c\right\} \right)
\end{eqnarray*}として定まりますが、先の条件が満たされる場合には、以下の関係\begin{equation*}
P\left( \left\vert X\right\vert \geq c\right) \leq \frac{E\left( \left\vert
X\right\vert \right) }{c}
\end{equation*}が成り立つことが保証されます。これもまたマルコフの不等式（Markov’s inequality）と呼ばれます。

確率変数との合成関数に関するマルコフの不等式

マルコフの不等式では確率変数\(X:\Omega \rightarrow \mathbb{R} \)が非負の実数のみを値としてとり得る状況を想定しています。一方、\(X\)が負の値をとり得る場合においても、何らかの関数\(g:\mathbb{R} \rightarrow \mathbb{R} \)との合成関数\(g\circ X:\Omega\rightarrow \mathbb{N} \)をとることにより非負の実数のみを値としてとり得る確率変数\(g\left( X\right) =g\circ X\)を生成すれば、この新たな確率変数\(g\left( X\right) \)に対して先の命題と同様の主張が成り立つことを保証できます。具体的には以下の通りです。

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)が与えられているものとします。加えて、\(X\)の確率分布が確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。さらに、関数\(g:\mathbb{R} \rightarrow \mathbb{R} \)を任意に選んだ上で、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}g\left( X\right) \left( \omega \right) =g\left( X\left( \omega \right)
\right)
\end{equation*}を定める新たな確率変数\(g\left( X\right) :\Omega \rightarrow \mathbb{R} \)を定義します。

この確率変数\(X\)は以下の2つの条件を満たすものとします。1つ目は、\(g\left( X\right) \)が非負の実数のみを値としてとり得るということです。すなわち、\begin{equation*}\forall \omega \in \Omega :g\left( X\right) \left( \omega \right) =g\left(
X\left( \omega \right) \right) \geq 0
\end{equation*}が成り立つということです。2つ目は、\(g\left(X\right) \)の期待値が有限な実数として定まるものとします。LOTUSより、\(g\left( X\right) \)の期待値は、\begin{equation*}E\left( g\left( X\right) \right) =\sum_{x\in X\left( \Omega \right) }\left[
g\left( x\right) \cdot f_{X}\left( x\right) \right] \end{equation*}として定まることに注意してください。

正の実数\(c>0\)を任意に選んだとき、確率変数\(g\left( X\right) \)の値が\(c\)以上である確率は、\begin{eqnarray*}P\left( g\left( X\right) \geq c\right) &=&P\left( \left\{ \omega \in \Omega
\ |\ g\left( X\right) \left( \omega \right) \geq c\right\} \right) \\
&=&P\left( \left\{ \omega \in \Omega \ |\ g\left( X\left( \omega \right)
\right) \geq c\right\} \right)
\end{eqnarray*}として定まりますが、先の条件が満たされる場合には、以下の関係\begin{equation*}
P\left( g\left( X\right) \geq c\right) \leq \frac{E\left( g\left( X\right)
\right) }{c}
\end{equation*}が成り立つことが保証されます。これもまたマルコフの不等式（Markov’s inequality）と呼ばれます。

マルコフの不等式の正確性

確率変数\(X\)の確率分布の全容を特定するのが困難な状況においても、期待値\(E\left( X\right) \)さえ明らかであれば、マルコフの不等式を用いることにより、その確率変数\(X\)がある値\(c\)以上の値をとる確率\(P\left( X\geq c\right) \)の上限\(\frac{E\left(X\right) }{c}\)を特定することはできます。つまり、\(X\)が\(c\)以上の値をとる真の確率\(P\left( X\geq c\right) \)を特定するのが困難な状況においても、期待値\(E\left( X\right) \)さえ明らかであれば、確率\(P\left( X\geq c\right) \)の真の値が収まる範囲を特定することはできるということです。言い換えると、\(X\)が\(c\)以上の値をとる真の確率\(P\left( X\geq c\right) \)が\(\frac{E\left( X\right) }{c}\)を超えることはありません。では、真の確率\(P\left(X\geq c\right) \)とマルコフの不等式が与える値\(\frac{E\left(X\right) }{c}\)はどの程度乖離しているのでしょうか。具体例を挙げます。

演習問題