連続型確率変数の期待値

連続型確率変数の期待値

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて絶対連続型の確率変数\begin{equation*}X:\Omega \rightarrow \mathbb{R} \end{equation*}が与えられているものとします。加えて、確率変数\(X\)の確率分布が確率密度関数\begin{equation*}f_{X}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、\begin{equation*}
\forall B\in \mathcal{B}\left( \mathbb{R} \right) :P\left( X\in B\right) =\int_{B}f_{X}\left( x\right) dx
\end{equation*}が成り立つということです。ただし、\(\mathcal{B}\left( \mathbb{R} \right) \)は\(\mathbb{R} \)上のボレル集合族です。確率変数\(X\)の分布関数が、\begin{equation*}F_{X}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}である場合、以下の関係\begin{equation*}
\forall x\in \mathbb{R} :F_{X}\left( x\right) =\int_{-\infty }^{x}f_{X}\left( t\right) dt
\end{equation*}もまた成立します。

問題としている試行のもとで確率変数\(X\)が取り得る値の範囲\(X\left(\Omega \right) \)は分かっていますが、試行はランダムネスによって支配されているため、\(X\left(\Omega \right) \)の中のどの値が実際に実現するかを事前に特定できません。したがって、何らかの手段を通じて\(X\left( \Omega \right) \)の中のどの値が実際に実現するかを予測する必要があります。確率変数\(X\)が離散型である場合には、\(X\)の実現値の見込み値を表す指標として期待値\begin{equation*}E\left( X\right) =\sum_{x\in X\left( \Omega \right) }xf_{X}\left( x\right)
\end{equation*}を採用しました。ただし、\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)は確率質量関数です。つまり、\(X\left( \Omega \right) \)に属するそれぞれの値\(x\)と、その値が実現する確率\(f_{X}\left( x\right) \)との積をとった上で、得られた積の総和をとれば\(X\)の期待値が得られます。

確率変数\(X\)が連続型である場合には積の総和をとることができないため、代わりに積分\begin{equation*}\int_{-\infty }^{+\infty }xf_{X}\left( x\right) dx
\end{equation*}をとります。ただし、\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)は確率密度関数です。これを確率変数\(X\)の期待値（expectation）や平均値（mean）などと呼び、\begin{equation*}E\left( X\right) ,\quad \mu
\end{equation*}などで表現します。つまり、\begin{equation*}
E\left( X\right) =\int_{-\infty }^{+\infty }xf_{X}\left( x\right) dx
\end{equation*}を満たすものとして期待値\(E\left( X\right) \)は定義されます。期待値\(E\left( X\right) \)は確率変数\(X\)の実現値の見込みを表す指標であり、実際に実現する値とは異なります。

期待値が有限な実数として定まらない場合

連続型の確率変数\(X\)の確率分布が確率密度関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)として記述されている場合、\(X\)の期待値は、\begin{equation*}E\left( X\right) =\int_{-\infty }^{+\infty }xf_{X}\left( x\right) dx
\end{equation*}と定義されます。積分範囲を正負の場合に分けて記述すると、\begin{equation*}
E\left( X\right) =\int_{-\infty }^{0}xf_{X}\left( x\right)
dx+\int_{0}^{+\infty }xf_{X}\left( x\right) dx
\end{equation*}となります。このとき、以下の3通りの可能性が起こり得ます。

1つ目の場合は、\(\int_{-\infty}^{0}xf_{X}\left( x\right) dx\)と\(\int_{0}^{+\infty }xf_{X}\left(x\right) dx\)がともに有限な実数として定まるケースです。この場合、それらの和である期待値\(E\left( X\right) \)もまた有限な実数として定まります。

2つ目の場合は、\(\int_{-\infty}^{0}xf_{X}\left( x\right) dx\)と\(\int_{0}^{+\infty }xf_{X}\left(x\right) dx\)のどちらか一方が有限な実数として定まる一方で他方が無限大であるケースです。この場合、それらの和である期待値\(E\left( X\right) \)もまた無限大となります。そこで、この場合には\(X\)の期待値は無限大であるものと定めます。

3つ目の場合は、\(\int_{-\infty}^{0}xf_{X}\left( x\right) dx\)が負の無限大\(-\infty \)であり、なおかつ\(\int_{0}^{+\infty }xf_{X}\left( x\right) dx\)が正の無限大\(+\infty \)であるケースです。この場合、それらの和\(\left( -\infty \right) +\left(+\infty \right) \)は不定形です。そこで、この場合には\(X\)の期待値は存在しないものと定めます。

不注意な統計学者の法則（LOTUS）

連続型の確率変数\(X:\Omega\rightarrow \mathbb{R} \)の確率分布が確率密度関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)によって記述されているものとします。連続関数\(g:\mathbb{R} \rightarrow \mathbb{R} \)を任意に選んだ上で、それぞれの\(\omega \in \Omega \)に対して、\begin{eqnarray*}Y\left( \omega \right) &=&\left( g\circ X\right) \left( \omega \right) \\
&=&g\left( X\left( \omega \right) \right) \quad \because \text{合成関数の定義}
\end{eqnarray*}を定める新たな関数\begin{equation*}
Y:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。確率変数と連続関数の合成関数は確率変数であるため\(Y\)は確率変数です。加えて、\(Y\)もまた絶対連続型である場合には、以下の関係\begin{equation*}E\left( Y\right) =\int_{-\infty }^{+\infty }g\left( x\right) f_{X}\left(
x\right) dx
\end{equation*}が成り立つことが保証されます。これを不注意な統計学者の法則（law of the unconscious statistician）やLOTUSなどと呼びます。

まずは以下の補題を示します。

以上の補題を踏まえた上で以下を示します。

以上の命題を踏まえた上で以下を証明します。

確率変数\(Y=g\left( X\right) \)の期待値を求める際、期待値の本来の定義にもとづいて考えるのであれば、\begin{equation*}y=f\left( x\right)
\end{equation*}とおいた上で、確率変数\(Y\)の確率分布を描写する確率密度関数\(f_{Y}:\mathbb{R} \rightarrow \mathbb{R} \)を特定した上で、\begin{equation*}E\left( Y\right) =\int_{-\infty }^{+\infty }yf_{Y}\left( y\right) dy
\end{equation*}と計算する必要があります。つまり、本来、確率変数\(Y\)の期待値は\(Y\)の確率分布にもとづいて計算する必要があり、確率変数\(X\)の確率分布をそのまま流用できることは必ずしも自明ではありません。であるにもかかわらず、統計学の多くの教科書では、確率変数\(Y\)の期待値を導出する際に、確率変数\(X\)の確率分布を描写する確率密度関数\(f_{X}:\mathbb{R} \rightarrow \mathbb{R} \)を用いて、\begin{equation*}E\left( Y\right) =\int_{-\infty }^{+\infty }g\left( x\right) f_{X}\left(
x\right) dx
\end{equation*}としています。なぜなら、多くの不注意な人は、このような関係が成り立つことが自明であると思いこんでいるからです。ただ、実際には、上の命題が示すように、このような関係が成り立つことはきちんと証明されるべきです。このような背景を踏まえた上で、上の命題は「不注意な統計者の法則（LOTUS）」と呼ばれます。

具体例を通じてこの事実の有用性を確認します。

連続型確率変数の定数倍の期待値

絶対連続型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)と実数\(c\in \mathbb{R} \)が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left( cX\right) \left( \omega \right) =cX\left( \omega \right)
\end{equation*}を定める新たな関数\begin{equation*}
cX:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。確率変数の定数倍は確率変数であるため\(cX\)は確率変数です。

\(c=0\)の場合には、任意の\(\omega \in \Omega \)に対して、\begin{equation*}\left( cX\right) \left( \omega \right) =0
\end{equation*}となるため\(cX\)は定数値関数であり、したがって\(X\)は離散型の確率変数になります。そこで以降では\(c\not=0\)の場合について考えます。

\(c\not=0\)であるとともに\(X\)の期待値\(E\left( X\right) \)が存在する場合には\(cX\)の期待値\(E\left( cX\right) \)が存在することが保証されるとともに、両者の間には以下の関係\begin{equation*}E\left( cX\right) =cE\left( X\right)
\end{equation*}が成り立ちます。

連続型確率変数の和の期待値

2つの絶対連続型の確率変数\begin{eqnarray*}
X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left( X+Y\right) \left( \omega \right) =X\left( \omega \right) +Y\left(
\omega \right)
\end{equation*}を定める新たな関数\begin{equation*}
X+Y:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能です。確率変数どうしの和は確率変数であるため\(X+Y\)は確率変数です。さらに、\(X,Y\)の期待値\(E\left(X\right) ,E\left( Y\right) \)がともに存在する場合には\(X+Y\)の期待値\(E\left( X+Y\right) \)が存在することが保証されるとともに、それらの間には以下の関係\begin{equation*}E\left( X+Y\right) =E\left( X\right) +E\left( Y\right)
\end{equation*}が成り立ちます。

\(3\)個以上の絶対連続型確率変数についても同様の主張が成立します。つまり、有限\(n\)個の絶対連続型確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{n}:\Omega \rightarrow \mathbb{R} \end{gather*}が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left( X_{1}+\cdots +X_{n}\right) \left( \omega \right) =X_{1}\left( \omega
\right) +\cdots +X_{n}\left( \omega \right)
\end{equation*}を定める新たな確率変数\begin{equation*}
X_{1}+\cdots +X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能ですが、\(X_{1},\cdots ,X_{n}\)の期待値\(E\left( X_{1}\right),\cdots ,E\left( X_{n}\right) \)が存在する場合、\(X_{1}+\cdots +X_{n}\)の期待値\(E\left( X_{1}+\cdots +X_{n}\right) \)もまた存在し、それらの間には以下の関係\begin{equation*}E\left( X_{1}+\cdots +X_{n}\right) =E\left( X_{1}\right) +\cdots +E\left(
X_{n}\right)
\end{equation*}が成立します。証明では確率変数の個数\(n\)に関する数学的帰納法を用います。

連続型確率変数の線型結合の期待値

有限\(n\)個の絶対連続型確率変数\begin{gather*}X_{1}:\Omega \rightarrow \mathbb{R} \\
\vdots \\
X_{n}:\Omega \rightarrow \mathbb{R} \end{gather*}と実数\(c_{1},\cdots ,c_{n}\in \mathbb{R} \)が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{equation*}\left( c_{1}X_{1}+\cdots +c_{n}X_{n}\right) \left( \omega \right)
=c_{1}X_{1}\left( \omega \right) +\cdots +c_{n}X_{n}\left( \omega \right)
\end{equation*}を定める新たな確率変数\begin{equation*}
c_{1}X_{1}+\cdots +c_{n}X_{n}:\Omega \rightarrow \mathbb{R} \end{equation*}が定義可能ですが、\(X_{1},\cdots ,X_{n}\)の期待値が存在する場合には\(c_{1}X_{1}+\cdots+c_{n}X_{n}\)の期待値もまた存在し、それらの間には以下の関係\begin{equation*}E\left( c_{1}X_{1}+\cdots +c_{n}X_{n}\right) =c_{1}E\left( X_{1}\right)
+\cdots +c_{n}E\left( X_{n}\right)
\end{equation*}が成立します。証明ではこれまで示した命題を利用します。

連続型確率変数の期待値の符号

絶対連続型の確率変数\(X:\Omega \rightarrow \mathbb{R} \)の任意の値が非負であるものとします。つまり、\begin{equation*}\forall \omega \in \Omega :X\left( \omega \right) \geq 0
\end{equation*}が成り立つということです。このことを、\begin{equation*}
X\geq 0
\end{equation*}と表記できるものとします。確率変数\(X\)が以上の条件を満たすとともに期待値\(E\left( X\right) \)が存在する場合、期待値の符号についても、\begin{equation*}E\left( X\right) \geq 0
\end{equation*}が成り立つことが保証されます。

連続型確率変数の期待値の単調性

2つの絶対連続型の確率変数\begin{eqnarray*}
X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}が定める値の間に以下の関係\begin{equation*}
\forall \omega \in \Omega :X\left( \omega \right) \geq Y\left( \omega \right)
\end{equation*}が成り立つ場合、そのことを、\begin{equation*}
X\geq Y
\end{equation*}と表記できるものとします。確率変数\(X,Y\)が以上の条件を満たすとともに期待値\(E\left( X\right),E\left( Y\right) \)がともに存在する場合、期待値の間にも同様の大小関係\begin{equation*}E\left( X\right) \geq E\left( Y\right)
\end{equation*}が成り立つことが保証されます。

期待値に関するシュワルツの不等式

2つの絶対連続型の確率変数\begin{eqnarray*}
X &:&\Omega \rightarrow \mathbb{R} \\
Y &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}が与えられたとき、それぞれの\(\omega \in \Omega \)に対して、\begin{eqnarray*}\left( XY\right) \left( \omega \right) &=&X\left( \omega \right) \cdot
Y\left( \omega \right) \\
X^{2}\left( \omega \right) &=&X\left( \omega \right) \cdot X\left( \omega
\right) \\
Y^{2}\left( \omega \right) &=&Y\left( \omega \right) \cdot Y\left( \omega
\right)
\end{eqnarray*}を定める新たな確率変数\begin{eqnarray*}
XY &:&\Omega \rightarrow \mathbb{R} \\
X^{2} &:&\Omega \rightarrow \mathbb{R} \\
Y^{2} &:&\Omega \rightarrow \mathbb{R} \end{eqnarray*}がそれぞれ定義可能です。これらの期待値がいずれも有限な実数として定まる場合には、以下の関係\begin{equation*}
\left[ E\left( XY\right) \right] ^{2}\leq E\left( X^{2}\right) \cdot E\left(
Y^{2}\right)
\end{equation*}が成り立つことが保証されます。これを期待値に関するシュワルツの不等式（Schwarz’s inequality）と呼びます。

演習問題