離散型確率ベクトルの周辺化（同時周辺確率質量関数）

同時確率分布から導かれる同時周辺確率分布

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{n}\right) :\Omega \rightarrow \mathbb{R} ^{n}
\end{equation*}が与えられている場合、その中の\(m\ \left( <n\right) \)個の確率変数からなる確率ベクトル\begin{equation*}\left( X_{1},\cdots X_{m}\right) :\Omega \rightarrow \mathbb{R} ^{m}
\end{equation*}の値がある集合\(A_{1}\times \cdots\times A_{m}\subset \mathbb{R} ^{m}\)に属する確率を、\begin{equation*}P\left( \left( X_{1},\cdots X_{m}\right) \in A_{1}\times \cdots \times
A_{m}\right)
\end{equation*}または、\begin{equation*}
P\left( X_{1}\in A_{1}\wedge \cdots \wedge X_{m}\in A_{m}\right)
\end{equation*}で表記するものとします。これをどのように評価すればよいでしょうか。

確率ベクトル\(\left( X_{1},\cdots,X_{n}\right) \)はそれぞれの標本点\(\omega \in \Omega \)に対してベクトル\begin{equation*}\left( X_{1},\cdots ,X_{n}\right) \left( \omega \right) =\left( X_{1}\left(
\omega \right) ,\cdots ,X_{n}\left( \omega \right) \right) \in \mathbb{R} ^{n}
\end{equation*}を1つずつ定めるため、「確率ベクトル\(\left(X_{1},\cdots ,X_{m}\right) \)の値が集合\(A_{1}\times \cdots \times A_{m}\)に属する」という事象は、以下の条件\begin{equation*}\left( X_{1},\cdots ,X_{m}\right) \left( \omega \right) \in A_{1}\times
\cdots \times A_{m}
\end{equation*}を満たす標本点\(\omega \)からなる集合\begin{eqnarray*}&&\left\{ \omega \in \Omega \ |\ \left( X_{1},\cdots ,X_{m}\right) \left(
\omega \right) \in A_{1}\times \cdots \times A_{m}\right\} \\
&=&\left\{ \omega \in \Omega \ |\ X_{1}\left( \omega \right) \in A_{1}\wedge
\cdots \wedge X_{m}\left( \omega \right) \in A_{m}\wedge X_{m+1}\left(
\omega \right) \in X_{m+1}\left( \Omega \right) \wedge \cdots \wedge
X_{n}\left( \omega \right) \in X_{n}\left( \Omega \right) \right\} \\
&=&\left\{ \omega \in \Omega \ |\ \left( X_{1},\cdots ,X_{m}\right) \left(
\omega \right) \in A_{1}\times \cdots \times A_{m}\wedge \left(
X_{m+1},\cdots ,X_{n}\right) \left( \omega \right) \in \left( X_{m+1},\cdots
,X_{n}\right) \left( \Omega \right) \right\}
\end{eqnarray*}として表現されます。したがって、「確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の値が集合\(A_{1}\times \cdots \times A_{m}\)に属する」という事象が起こる確率は、\begin{eqnarray*}&&P\left( \left( X_{1},\cdots X_{m}\right) \in A_{1}\times \cdots \times
A_{m}\right) \\
&=&P\left( \left\{ \omega \in \Omega \ |\ \left( X_{1},\cdots ,X_{m}\right)
\left( \omega \right) \in A_{1}\times \cdots \times A_{m}\wedge \left(
X_{m+1},\cdots ,X_{n}\right) \left( \omega \right) \in \left( X_{m+1},\cdots
,X_{n}\right) \left( \Omega \right) \right\} \right)
\end{eqnarray*}となります。

確率ベクトル\(\left( X_{1},\cdots,X_{n}\right) \)が与えられている状況において、確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の値がそれぞれの集合\(A_{1}\times \cdots \times A_{m}\subset \mathbb{R} ^{m}\)に属する確率\begin{equation*}P\left( \left( X_{1},\cdots X_{m}\right) \in A_{1}\times \cdots \times
A_{m}\right)
\end{equation*}が明らかになっている場合、そのような情報の集まりを確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の同時周辺確率分布（joint marginal probability distribution）と呼びます。\(\left( X_{1},\cdots X_{m}\right) \)とは異なる確率ベクトルについても同様に考えます。

離散型確率ベクトルの同時周辺確率質量関数

確率空間\(\left( \Omega ,\mathcal{F},P\right) \)に加えて離散型の確率ベクトル\begin{equation*}\left( X_{1},\cdots ,X_{n}\right) :\Omega \rightarrow \mathbb{R} ^{n}
\end{equation*}が与えられており、その同時確率分布が同時確率質量関数\begin{equation*}
f_{X_{1}\cdots X_{n}}:\mathbb{R} ^{n}\rightarrow \mathbb{R} \end{equation*}によって記述されているものとします。つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{n}\right) \)の値がベクトル\(\left( x_{1},\cdots ,x_{n}\right) \in \mathbb{R} ^{n}\)と一致する確率は、\begin{equation*}P\left( X_{1}=x_{1}\wedge \cdots \wedge X_{n}=x_{n}\right) =f_{X_{1}\cdots
X_{n}}\left( x_{1},\cdots ,x_{n}\right)
\end{equation*}であり、確率ベクトル\(\left( X_{1},\cdots ,X_{n}\right) \)の値が集合\(A_{1}\times \cdots \times A_{n}\subset \mathbb{R} ^{n}\)に属する確率は、\begin{equation*}P\left( \left( X_{1},\cdots ,X_{n}\right) \in A_{1}\times \cdots \times
A_{n}\right) =\sum_{\left( x_{1},\cdots ,x_{n}\right) \in A_{1}\times \cdots
\times A_{n}}f_{X_{1}\cdots X_{n}}\left( x_{1},\cdots ,x_{n}\right)
\end{equation*}であるということです。

確率ベクトル\(\left( X_{1},\cdots,X_{n}\right) \)の同時確率分布に関する以上の情報から、確率ベクトル\(\left( X_{1},\cdots X_{m}\right) \)の同時周辺確率分布を特定するためにはどうすればよいでしょうか。\(\left(X_{1},\cdots X_{m}\right) \)は離散型の確率ベクトルであるため、その同時確率分布を描写するためには同時確率質量関数\(f_{X_{1}\cdots X_{m}}:\mathbb{R} ^{m}\rightarrow \mathbb{R} \)を特定すれば十分です。同時確率質量関数の定義より、\(f_{X_{1}\cdots X_{m}}\)がそれぞれの\(\left( x_{1},\cdots,x_{m}\right) \in \mathbb{R} ^{m}\)に対して定める値は、確率ベクトル\(\left( X_{1},\cdots X_{m}\right) \)の値が\(\left( x_{1},\cdots ,x_{m}\right) \)と一致する確率\begin{equation*}f_{X_{1}\cdots X_{m}}\left( x_{1},\cdots ,x_{m}\right) =P\left(
X_{1}=x_{1}\wedge \cdots \wedge X_{m}=x_{m}\right)
\end{equation*}ですが、この値は確率ベクトル\(\left( X_{1},\cdots ,X_{n}\right) \)の同時確率質量関数\(f_{X_{1}\cdots X_{n}}\)から以下のようにして導くことができます。

つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の値が\(\left(x_{1},\cdots ,x_{m}\right) \)と一致する確率\(f_{X_{1}\cdots X_{m}}\left( x_{1},\cdots ,x_{m}\right) \)を求めるためには、確率ベクトル\(\left( X_{1},\cdots ,X_{n}\right) \)がとり得る値の組\(\left(y_{1},\cdots ,y_{n}\right) \)の中でも\(\left(y_{1},\cdots ,y_{m}\right) \)が\(\left( x_{1},\cdots ,x_{m}\right) \)と一致するものに対して確率\(f_{X_{1}\cdots X_{n}}\left( y_{1},\cdots,y_{n}\right) \)をそれぞれ特定し、得られた確率の総和をとればよいということです。\(\left( X_{1},\cdots,X_{m}\right) \)とは異なる確率ベクトルについても同様に考えます。

先の命題より、確率ベクトル\(\left( X_{1},\cdots ,X_{n}\right) \)の同時確率質量関数\(f_{X_{1}\cdots X_{n}}\)が与えられれば、そこから確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \ \left(m<n\right) \)の同時確率質量関数\(f_{X_{1}\cdots X_{m}}\)を導けることが明らかになりました。同時確率質量関数\(f_{X_{1}\cdots X_{m}}\)が同時確率質量関数\(f_{X_{1}\cdots X_{n}}\)から導かれたものである場合には、\(f_{X_{1}\cdots X_{m}}\)のことを確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)に関する同時周辺確率質量関数（joint marginal probability mass function）と呼びます。また、同時確率質量関数\(f_{X_{1}\cdots X_{n}}\)から同時周辺確率質量関数\(f_{X_{1}\cdots X_{m}}\)を導くプロセスを周辺化（marginalizing）と呼びます。

同時周辺確率分布としての同時周辺確率質量関数

繰り返しになりますが、離散型確率ベクトル\(\left( X_{1},\cdots ,X_{n}\right) \)の同時確率質量関数\(f_{X_{1}\cdots X_{n}}\)が与えられた場合、そこから確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の同時周辺確率質量関数\(f_{X_{1}\cdots X_{m}}\)を導くことができるとともに、確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)が値\(\left( x_{1},\cdots ,x_{m}\right) \in \mathbb{R} ^{m}\)をとる確率に関して、\begin{equation*}P\left( X_{1}=x_{1}\wedge \cdots \wedge X_{m}=x_{m}\right) =f_{X_{1}\cdots
X_{m}}\left( x_{1},\cdots ,x_{m}\right)
\end{equation*}という関係が成り立ちます。以上を踏まえると、確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の値が集合\(A_{1}\times \cdots \times A_{m}\subset \mathbb{R} ^{m}\)に属する確率を、\begin{equation*}P\left( \left( X_{1},\cdots ,X_{m}\right) \in A_{1}\times \cdots \times
A_{m}\right) =\sum_{\left( x_{1},\cdots ,x_{m}\right) \in A_{1}\times \cdots
\times A_{m}}f_{X_{1}\cdots X_{m}}\left( x_{1},\cdots ,x_{m}\right)
\end{equation*}という形で表すことができます。つまり、集合\(A_{1}\times \cdots \times A_{m}\)に属するそれぞれの点\(\left(x_{1},\cdots ,x_{m}\right) \)に対する確率\(f_{X_{1}\cdots X_{m}}\left( x_{1},\cdots ,x_{m}\right) \)をとり、それらの総和をとれば\(P\left( \left( X_{1},\cdots ,X_{m}\right) \in A_{1}\times \cdots \times A_{m}\right) \)が得られるということです。ただし、\(A_{1}\times \cdots \times A_{m}\)が無限可算集合である場合、右辺のは無限級数の和です。\(\left( X_{1},\cdots,X_{m}\right) \)とは異なる確率ベクトルについても同様に考えます。

確率ベクトル\(\left( X_{1},\cdots,X_{m}\right) \)の同時周辺確率質量関数\(f_{X_{1}\cdots X_{m}}\)が与えられれば任意の集合\(A_{1}\times \cdots \times A_{m}\subset \mathbb{R} ^{m}\)に関する確率\(P\left( \left(X_{1},\cdots ,X_{m}\right) \in A_{1}\times \cdots \times A_{m}\right) \)を以上の要領で特定できるため、同時周辺確率質量関数\(f_{X_{1}\cdots X_{m}}\)は確率ベクトル\(\left(X_{1},\cdots ,X_{m}\right) \)の同時周辺確率分布を表現する手段であることが明らかになりました。\(\left(X_{1},\cdots ,X_{m}\right) \)とは異なる確率ベクトルについても同様に考えます。

同時周辺確率質量関数の非負性

同時周辺確率質量関数は非負の実数を値としてとります。特に、確率ベクトルの値域に属さない値に対して、同時周辺確率質量関数はゼロを値として定めます。

\(\left( X_{1},\cdots ,X_{m}\right) \)とは異なる確率ベクトルについても同様です。

同時周辺確率質量関数の値の総和

確率ベクトルがとり得るそれぞれの値に対して同時周辺確率質量関数が定める値の総和をとると\(1\)になります。

\(\left( X_{1},\cdots ,X_{m}\right) \)とは異なる確率ベクトルについても同様です。

同時確率質量関数としての同時周辺確率質量関数

非負性を満たすとともに、値の総和が\(1\)であるような多変数関数を同時確率質量関数と定義しました。先に示した諸命題より、同時周辺確率質量関数もまた非負性を満たすとともに、値の総和が\(1\)になります。つまり、確率ベクトル\(\left( X_{1},\cdots ,X_{m}\right) \)の同時確率質量関数\(f_{X_{1}\cdots X_{m}}:\mathbb{R} ^{m}\rightarrow \mathbb{R} \)は以下の2つの条件\begin{eqnarray*}&&\left( a\right) \ \forall \left( x_{1},\cdots ,x_{m}\right) \in \mathbb{R} ^{m}:f_{X_{1}\cdots X_{m}}\left( x_{1},\cdots ,x_{m}\right) \geq 0 \\
&&\left( b\right) \ \sum_{\left( x_{1},\cdots ,x_{m}\right) \in \left(
X_{1},\cdots ,X_{m}\right) \left( \Omega \right) }f_{X_{1}\cdots
X_{m}}\left( x_{1},\cdots ,x_{m}\right) =1
\end{eqnarray*}を満たすということです。\(\left( X_{1},\cdots ,X_{m}\right) \)とは異なる確率ベクトルについても同様です。したがって、同時周辺確率質量関数もまた個々の確率ベクトルに関する同時確率質量関数であることが明らかになりました。