WIIS

離散型の確率分布

離散型確率変数に関するチェビシェフの不等式

目次

Mailで保存
Xで共有

マルコフの不等式が抱える課題

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\begin{equation*}X:\Omega \rightarrow \mathbb{R} \end{equation*}が与えられているものとします。さらに、確率変数\(X\)の確率分布が確率質量関数\begin{equation*}f_{X}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、確率変数\(X\)の実現値が\(x\in \mathbb{R} \)である確率は、\begin{equation*}P\left( X=x\right) =f_{X}\left( x\right)
\end{equation*}であり、確率変数\(X\)の実現値が集合\(A\subset X\left( \Omega\right) \)に属する確率は、\begin{equation*}P\left( X\in A\right) =\sum_{x\in A}f_{X}\left( x\right)
\end{equation*}であるということです。

確率変数\(X\)が非負の実数を値としてとり得るとともに、その期待値\(E\left( X\right) \)が有限な実数として定まる場合には、マルコフの不等式を利用することにより、それぞれの正の実数\(c>0\)に対して、確率変数\(X\)の実現値が\(c\)以上である確率の上限を特定できることが明らかになりました。簡単に復習します。

命題(マルコフの不等式)
確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)および確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)が与えられているものとする。さらに、\begin{equation*}\forall \omega \in \Omega :X\left( \omega \right) \geq 0
\end{equation*}が成り立つとともに、期待値\(E\left( X\right) \)が有限な実数として定まるものとする。このとき、\begin{equation*}\forall c>0:P\left( X\geq c\right) \leq \frac{E\left( X\right) }{c}
\end{equation*}が成り立つ。

つまり、確率変数\(X\)の確率分布の全容は分からない場合でも期待値\(E\left( X\right) \)さえ明らかであれば、確率\(P\left( X\geq c\right) \)の真の値が収まる範囲を特定できるということです。期待値という限られた情報から確率分布に関する有益な情報を導き出せるという点においてマルコフの不等式は優れています。その反面、マルコフの不等式は期待値だけを拠り所とした指標であるため、確率分布の形状や、値\(c\)の選び方によっては、マルコフの不等式が与える値\(\frac{E\left( X\right) }{c}\)は確率\(P\left( X\geq c\right) \)の真の値を特定する上であまり役に立たない状況が起こり得ます。以下の例より明らかです。

例(マルコフの不等式)
偏りがあるコインを繰り返し投げる状況を想定します。各回において確率\(\frac{1}{5}\)で表が出て確率\(\frac{4}{5}\)で裏が出るものとします。このコインを\(20\)回投げたとき、表が\(16\)回以上出る確率の上限を特定します。コインを\(20\)回投げたときに表が出る回数を特定する確率変数\(X:\Omega \rightarrow \mathbb{R} \)の値域は、\begin{equation*}X\left( \Omega \right) =\left\{ 0,1,2,\cdots ,20\right\}
\end{equation*}であるため、\(X\)は非負の値のみをとり得ます。\(X\)は二項分布\begin{equation*}X\sim B_{i}\left( 20,\frac{1}{5}\right)
\end{equation*}にしたがうため、その期待値は、\begin{equation*}
E\left( X\right) =20\cdot \frac{1}{5}=4
\end{equation*}です。したがって、マルコフの不等式より、\begin{eqnarray*}
P\left( X\geq 16\right) &\leq &\frac{E\left( X\right) }{16} \\
&=&\frac{4}{16} \\
&=&\frac{1}{4}
\end{eqnarray*}が成り立ちます。つまり、表が\(16\)回以上出る確率は\(\frac{1}{4}\)以下であるということです。その一方で、表が\(16\)回以上出る確率の真の値は、\begin{eqnarray*}P\left( X\geq 16\right) &=&\sum_{k=16}^{20}\dbinom{20}{k}\left( \frac{1}{5}\right) ^{k}\left( \frac{4}{5}\right) ^{20-k}\quad \because \text{二項分布} \\
&\approx &1.380\,3\times 10^{-8}
\end{eqnarray*}です。マルコフの不等式が特定する上限\(\frac{1}{4}\)は真の確率\(1.380\,3\times 10^{-8}\)から遠く離れているため、実際の確率\(P\left(X\geq 16\right) \)を特定する上でそれほど参考にはなりません。

マルコフの不等式は期待値だけを拠り所とした指標であるため、場合によってはそれほど役に立たないことが明らかになりました。では、期待値に加えて分散もまた明らかになっている場合、その追加的な情報を活用することにより、マルコフの不等式よりも優れた精度で確率分布に関する情報を引き出すことはできるでしょうか。順番に考えます。

 

離散型確率変数に関するチェビシェフの不等式

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)が与えられており、その確率分布が確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。

確率変数\(X\)が与えられれば、それぞれの\(\omega \in\Omega \)に対して、\begin{equation*}X^{2}\left( \omega \right) =\left[ X\left( \omega \right) \right] ^{2}
\end{equation*}を定める新たな関数\begin{equation*}
X^{2}:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能ですが、LOTUSを用いることにより、その期待値は、\begin{equation*}
E\left( X^{2}\right) =\sum_{x\in X\left( \Omega \right) }\left[ x^{2}\cdot
f_{X}\left( x\right) \right] \end{equation*}として定まることに注意してください。この期待値\(E\left( X^{2}\right) \)が有限な実数として定まるものと仮定します。この場合、もとの確率変数\(X\)は二乗可積分(square integrable)であると言います。二乗可積分な確率変数\(X\)については、その期待値と分散\begin{eqnarray*}
E\left( X\right) &=&\sum_{x\in X\left( \Omega \right) }\left[ x\cdot
f_{X}\left( x\right) \right] \\
\mathrm{Var}\left( X\right) &=&\sum_{x\in X\left( \Omega \right) }\left[ \left[ x-E\left( X\right) \right] ^{2}\cdot f_{X}\left( x\right) \right] \end{eqnarray*}がそれぞれ有限な実数として定まることに注意してください(演習問題)。

確率変数\(X\)とその期待値\(E\left( X\right) \)が与えられれば、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left\vert X-E\left( X\right) \right\vert \left( \omega \right) =\left\vert
X\left( \omega \right) -E\left( X\right) \right\vert
\end{equation*}を定める新たな確率変数\begin{equation*}
\left\vert X-E\left( X\right) \right\vert :\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。これは、確率変数\(X\)が定めるそれぞれの値と期待値\(E\left( X\right) \)の間の距離を与える確率変数です。正の実数\(c>0\)を任意に選んだとき、確率変数\(\left\vert X-E\left( X\right) \right\vert \)の値が\(c\)以上である確率は、\begin{eqnarray*}P\left( \left\vert X-E\left( X\right) \right\vert \geq c\right) &=&P\left(
\left\{ \omega \in \Omega \ |\ \left\vert X-E\left( X\right) \right\vert
\left( \omega \right) \geq c\right\} \right) \\
&=&P\left( \left\{ \omega \in \Omega \ |\ \left\vert X\left( \omega \right)
-E\left( X\right) \right\vert \geq c\right\} \right)
\end{eqnarray*}として定まりますが、先の条件が満たされる場合には、すなわち、\(X\)が二乗可積分である場合には、以下の関係\begin{equation*}P\left( \left\vert X-E\left( X\right) \right\vert \geq c\right) \leq \frac{\mathrm{Var}\left( X\right) }{c^{2}}
\end{equation*}が成り立つことが保証されます。これをチェビシェフの不等式(Chebyshev’s inequality)と呼びます。

命題(チェビシェフの不等式)
確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)および確率質量関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)が与えられているものとする。\(X\)が二乗可積分であるものとする。つまり、確率変数\(X^{2}:\Omega \rightarrow \mathbb{R} \)の期待値\(E\left( X^{2}\right) \)が有限な実数として定まるものとする。この場合、確率変数\(X\)の期待値\(E\left( X\right) \)と分散\(\mathrm{Var}\left(X\right) \)がそれぞれ有限な実数として定まる。加えて、\begin{equation*}\forall c>0:P\left( \left\vert X-E\left( X\right) \right\vert \geq c\right)
\leq \frac{\mathrm{Var}\left( X\right) }{c^{2}}
\end{equation*}が成り立つ。

証明

プレミアム会員専用コンテンツです
ログイン】【会員登録

離散型の確率変数\(X\)が二乗可積分である場合には、任意の\(c>0\)について、\begin{equation*}P\left( \left\vert X-E\left( X\right) \right\vert \geq c\right) \leq \frac{\mathrm{Var}\left( X\right) }{c^{2}}
\end{equation*}が成り立つことが明らかになりました。これを変形すると、\begin{equation*}
P\left( X\geq E\left( x\right) +c\vee X\leq E\left( x\right) -c\right) \leq
\frac{\mathrm{Var}\left( X\right) }{c^{2}}
\end{equation*}を得ます。つまり、確率変数\(X\)の実現値が\(E\left( x\right) +c\)以上または\(E\left(x\right) -c\)以下である確率は\(\frac{\mathrm{Var}\left( X\right) }{c^{2}}\)以下であるということです。同時に、\begin{eqnarray*}P\left( \left\vert X-E\left( X\right) \right\vert <c\right) &=&1-P\left(
\left\vert X-E\left( X\right) \right\vert \geq c\right) \\
&\geq &1-\frac{V\left( X\right) }{c^{2}}
\end{eqnarray*}すなわち、\begin{equation*}
P\left( \left\vert X-E\left( X\right) \right\vert <c\right) \geq 1-\frac{\mathrm{Var}\left( X\right) }{c^{2}}
\end{equation*}が成り立ちますが、これを変形すると、\begin{equation*}
P\left( E\left( X\right) -c<X<E\left( X\right) +c\right) \geq 1-\frac{\mathrm{Var}\left( X\right) }{c^{2}}
\end{equation*}を得ます。つまり、確率変数\(X\)の実現値が\(E\left( X\right) -c\)より大きく\(E\left(X\right) +c\)より小さい確率は\(1-\frac{\mathrm{Var}\left( X\right) }{c^{2}}\)以上であるということです。

例(チェビシェフの不等式)
離散型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)の期待値が、\begin{equation}E\left( X\right) =15 \quad \cdots (1)
\end{equation}であるとともに、標準偏差が、\begin{equation*}
\sigma _{X}=2
\end{equation*}であるものとします。この場合、分散は、\begin{equation}
\mathrm{Var}\left( X\right) =4 \quad \cdots (2)
\end{equation}となります。この確率変数\(X\)の実現値が\(20\)以上または\(10\)以下である確率に関して、\begin{eqnarray*}P\left( X\geq 20\vee X\leq 10\right) &=&P\left( X\geq 15+5\vee X\leq
15-5\right) \\
&=&P\left( \left\vert X-15\right\vert \geq 5\right) \\
&=&P\left( \left\vert X-E\left( X\right) \right\vert \geq 5\right) \quad
\because \left( 1\right) \\
&\leq &\frac{\mathrm{Var}\left( X\right) }{5^{2}}\quad \because \text{チェビシェフの不等式} \\
&=&\frac{4}{25}\quad \because \left( 2\right)
\end{eqnarray*}すなわち、\begin{equation}
P\left( X\geq 20\vee X\leq 10\right) \leq \frac{4}{25} \quad \cdots (3)
\end{equation}が成り立ちます。着に、この確率変数\(X\)の実現値が\(10\)より大きく\(20\)より小さい確率に関して、\begin{eqnarray*}P\left( 10<X<20\right) &=&1-P\left( X\geq 20\vee X\leq 10\right) \\
&\geq &1-\frac{4}{25}\quad \because \left( 3\right) \\
&=&\frac{21}{25}
\end{eqnarray*}が成り立ちます。つまり、\(X\)の実現値が\(20\)以上または\(10\)以下である確率は最大でも\(\frac{4}{25}\)であり、\(X\)の実現値が\(10\)より大きく\(20\)より小さい確率は最低でも\(\frac{21}{25}\)であるということです。

 

チェビシェフの不等式の正確性

マルコフの不等式は期待値だけを拠り所とした指標である一方で、チェビシェフの不等式は期待値と分散を拠り所をした指標です。つまり、チェビシェフの不等式では分散という追加的な情報を活用しているため、マルコフの不等式よりも優れた精度で確率分布に関する情報を引き出せるものと予想されます。先の例を通じて確認します。

例(チェビシェフの不等式)
偏りがあるコインを繰り返し投げる状況を想定します。各回において確率\(\frac{1}{5}\)で表が出て確率\(\frac{4}{5}\)で裏が出るものとします。このコインを\(20\)回投げたとき、表が\(16\)回以上出る確率の上限を特定します。コインを\(20\)回投げたときに表が出る回数を特定する確率変数\(X:\Omega \rightarrow \mathbb{R} \)の値域は、\begin{equation*}X\left( \Omega \right) =\left\{ 0,1,2,\cdots ,20\right\}
\end{equation*}であるため、\(X\)は非負の値のみをとり得ます。\(X\)は二項分布\begin{equation*}X\sim B_{i}\left( 20,\frac{1}{5}\right)
\end{equation*}にしたがうため、その期待値は、\begin{equation*}
E\left( X\right) =20\cdot \frac{1}{5}=4
\end{equation*}であり、分散は、\begin{equation*}
\mathrm{Var}\left( X\right) =20\cdot \frac{1}{5}\left( 1-\frac{1}{5}\right) =\frac{16}{5}
\end{equation*}です。マルコフの不等式を利用する場合には、\begin{eqnarray*}
P\left( X\geq 16\right) &\leq &\frac{E\left( X\right) }{16}\quad \because
\text{マルコフの不等式} \\
&=&\frac{4}{16}\quad \because E\left( X\right) =4 \\
&=&\frac{1}{4} \\
&=&0.25
\end{eqnarray*}となります。つまり、表が\(16\)回以上出る確率は\(\frac{1}{4}\)以下であるということです。一方、チェビシェフの不等式を利用する場合には、\begin{eqnarray*}P\left( X\geq 16\right) &=&P\left( \left\vert X\right\vert \geq 16\right)
\quad \because X\geq 0 \\
&=&P\left( \left\vert X-4\right\vert \geq 12\right) \quad \because X\geq 0 \\
&=&P\left( \left\vert X-E\left( X\right) \right\vert \geq 12\right) \quad
\because E\left( X\right) =4 \\
&\leq &\frac{V\left( X\right) }{16^{2}}\quad \because \text{チェビシェフの不等式} \\
&=&\frac{1}{16^{2}}\cdot \frac{16}{5}\quad \because \mathrm{Var}\left(
X\right) =\frac{16}{5} \\
&=&\frac{1}{80} \\
&=&0.0125
\end{eqnarray*}となります。つまり、表が\(16\)回以上出る確率は\(\frac{1}{80}\)以下であるということです。その一方で、表が\(16\)回以上出る確率の真の値は、\begin{eqnarray*}P\left( X\geq 16\right) &=&\sum_{k=16}^{20}\dbinom{20}{k}\left( \frac{1}{5}\right) ^{k}\left( \frac{4}{5}\right) ^{20-k}\quad \because \text{二項分布} \\
&\approx &1.380\,3\times 10^{-8}
\end{eqnarray*}です。これらの結果を比較すると、\begin{equation*}
1.380\,3\times 10^{-8}<0.0125<0.25
\end{equation*}となるため、チェビシェフの不等式はマルコフの不等式よりも精度が高いことを確認できました。

 

演習問題

問題(チェビシェフの不等式)
ある集団における所得の平均値は\(400\)万円であり、標準偏差は\(200\)万円であるものとします。集団の中から誰かをランダムに選んだとき、その人の年収が\(100\)万円以下または\(700\)万円以上である確率の上限を求めてください。
解答を見る

プレミアム会員専用コンテンツです
ログイン】【会員登録

問題(自乗可積分な確率変数)
離散型の確率変数\(X:\Omega\rightarrow \mathbb{R} \)から新たな確率変数\(X^{2}:\Omega \rightarrow \mathbb{R} \)を定義します。\(X^{2}\)の期待値\(E\left( X^{2}\right) \)が有限な実数として定まる場合には、\(X\)の期待値\(E\left( X\right) \)と分散\(\mathrm{Var}\left( X\right) \)もまた有限な実数として定まることを示してください。
解答を見る

プレミアム会員専用コンテンツです
ログイン】【会員登録

関連知識

Mailで保存
Xで共有

質問とコメント

プレミアム会員専用コンテンツです

会員登録

有料のプレミアム会員であれば、質問やコメントの投稿と閲覧、プレミアムコンテンツ(命題の証明や演習問題とその解答)へのアクセスなどが可能になります。

ワイズのユーザーは年齢・性別・学歴・社会的立場などとは関係なく「学ぶ人」として対等であり、お互いを人格として尊重することが求められます。ユーザーが快適かつ安心して「学ぶ」ことに集中できる環境を整備するため、広告やスパム投稿、他のユーザーを貶めたり威圧する発言、学んでいる内容とは関係のない不毛な議論などはブロックすることになっています。詳細はガイドラインをご覧ください。

誤字脱字、リンク切れ、内容の誤りを発見した場合にはコメントに投稿するのではなく、以下のフォームからご連絡をお願い致します。

プレミアム会員専用コンテンツです
ログイン】【会員登録