不偏分散（標本分散）とその標本分布

統計量と標本分布

統計量と標本分布の概念について簡単に復習した上で、不偏分散と呼ばれる統計量を定義します。

母集団分布が確率変数\(X\)の分布関数
\begin{equation*}
F_{X}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}として表現されているものとします。確率変数\(X\)がしたがう確率分布の種類が判明しているとともに、その確率分布の形状が有限\(k\in \mathbb{N} \)個のパラメータ\begin{equation*}\boldsymbol{\theta }=\left( \theta _{1},\cdots ,\theta _{k}\right) \in \Theta
\end{equation*}によって決定される場合には、パラメトリック族が、\begin{equation*}
\Phi =\left\{ F\left( \cdot ,\boldsymbol{\theta }\right) \ |\ \boldsymbol{\theta }\in \Theta \right\}
\end{equation*}と定義されます。パラメトリック族が正しく設定されている場合には、\begin{equation*}
\exists \boldsymbol{\theta }\in \Theta :F_{X}=F\left( \cdot ,\boldsymbol{\theta }\right)
\end{equation*}が成り立つため、母集団分布を推測する作業は、以上の条件を満たす母数\(\boldsymbol{\theta }\)を推測する作業に相当します。

全数調査が困難である場合には、母集団から選び出した標本を調査することを通じて母集団分布や母数を推測する必要があります。「母集団から標本を抽出する」という試行を確率空間\begin{equation*}
\left( \Omega ,\mathcal{F},P\right)
\end{equation*}として表現します。大きさ\(n\)の標本\begin{equation*}\boldsymbol{x}=\left( x_{1},\cdots ,x_{n}\right) \in \mathbb{R} ^{n}
\end{equation*}は\(n\)次元の確率ベクトル\begin{equation*}\boldsymbol{X}=\left( X_{1},\cdots ,X_{n}\right) :\Omega \rightarrow \mathbb{R} ^{n}
\end{equation*}の実現値とみなされます。確率ベクトル\(\boldsymbol{X}\)の同時分布が同時分布関数\begin{equation*}F_{\boldsymbol{X}}:\mathbb{R} ^{n}\rightarrow \mathbb{R} \end{equation*}として表現されているものとします。加えて、確率ベクトル\(\boldsymbol{X}\)を構成する確率変数\(X_{1},\cdots ,X_{n}\)はランダムサンプルであるものとします。つまり、確率ベクトル\(\boldsymbol{X}\)を構成する確率変数\(X_{1},\cdots ,X_{n}\)が独立同一分布にしたがうとともに、それらの周辺分布\(F_{X_{1}},\cdots ,F_{X_{n}}\)がいずれも母集団分布\(F_{X}\)と一致するということです。この場合、任意の標本\(\boldsymbol{x}\in \boldsymbol{X}\left( \Omega \right) \)に対して、以下の関係\begin{equation*}F_{\boldsymbol{X}}\left( \boldsymbol{x},\boldsymbol{\theta }\right)
=F_{X}\left( x_{1},\boldsymbol{\theta }\right) \times \cdots \times
F_{X}\left( x_{n},\boldsymbol{\theta }\right)
\end{equation*}が成り立ちます。

統計的推測とは、観察可能な標本\(\boldsymbol{x}\)を頼りに、観察不可能な母集団分布\(F_{X}\)またはその母数\(\boldsymbol{\theta }\)を探り当てる作業に相当します。その際、標本\(\boldsymbol{x}\)をありのまま観察するだけでなく、標本が含む情報を何らかの形で要約した統計量と呼ばれる概念を利用します。

標本\(\boldsymbol{x}\)は確率ベクトル\(\boldsymbol{X}:\Omega \rightarrow \mathbb{R} ^{n}\)の実現値とみなされるため、起こり得る標本をすべて集めることにより得られる集合は確率ベクトル\(\boldsymbol{X}\)の値域\begin{eqnarray*}\boldsymbol{X}\left( \Omega \right) &=&\left\{ \boldsymbol{X}\left( \omega
\right) \in \mathbb{R} ^{n}\ |\ \omega \in \Omega \right\} \\
&=&\left\{ \left( \left( X_{1},\cdots ,X_{n}\right) \right) \left( \omega
\right) \in \mathbb{R} ^{n}\ |\ \omega \in \Omega \right\}
\end{eqnarray*}です。多変数関数\(T:\mathbb{R} ^{n}\rightarrow \mathbb{R} \)が与えられれば、合成関数\begin{equation*}T\circ \boldsymbol{X}:\Omega \rightarrow \mathbb{R} \end{equation*}に相当する確率変数が定義可能です。この確率変数を統計量と呼び、\begin{equation*}
T\left( X_{1},\cdots ,X_{n}\right) :\Omega \rightarrow \mathbb{R} \end{equation*}で表記します。

標本\(\boldsymbol{x}\in \boldsymbol{X}\left( \Omega \right) \)を任意に選んだとき、値域の定義より、\begin{equation}\exists \omega \in \Omega :\boldsymbol{x}=\boldsymbol{X}\left( \omega \right)
\quad \cdots (1)
\end{equation}が成り立つとともに、この\(\omega \in \Omega \)に対して統計量\(T\left( X_{1},\cdots ,X_{n}\right) \)が定める値は、\begin{eqnarray*}T\left( X_{1},\cdots ,X_{n}\right) \left( \omega \right) &=&\left( T\circ
\boldsymbol{X}\right) \left( \omega \right) \quad \because T\left(
X_{1},\cdots ,X_{n}\right) \text{の定義} \\
&=&T\left( \boldsymbol{X}\left( \omega \right) \right) \quad \because \text{合成関数の定義} \\
&=&T\left( \boldsymbol{x}\right) \quad \because \left( 1\right) \\
&=&T\left( x_{1},\cdots ,x_{n}\right)
\end{eqnarray*}となります。つまり、統計量\(T\left( X_{1},\cdots ,X_{n}\right) \)は観察された標本\(\boldsymbol{x}\)を1つの実数\(T\left( \boldsymbol{x}\right) \)として集約的に表現する関数です。この値\(T\left( \boldsymbol{x}\right) \)を標本\(\boldsymbol{x}\)の統計量と呼びます。

統計量\(T\left( X_{1},\cdots ,X_{n}\right) \)は確率変数であるため、その確率分布が定義可能です。統計量\(T\left(X_{1},\cdots ,X_{n}\right) \)の確率分布を標本分布と呼びます。確率変数\(X_{1},\cdots ,X_{n}\)が母集団分布から抽出したランダムサンプルである場合、これらの確率分布は母集団分布と一致します。したがって、ランダムサンプルから定義される統計量\(T\left( X_{1},\cdots,X_{n}\right) \)の確率分布、すなわち標本分布は母集団分布に依存します。

不偏分散の定義

確率ベクトル\(\boldsymbol{X}:\Omega\rightarrow \mathbb{R} ^{n}\)を構成する確率変数\(X_{1},\cdots ,X_{n}\)は母集団分布から抽出したランダムサンプルであるものとします。標本\(\boldsymbol{x}\in \boldsymbol{X}\left( \Omega \right) \)の標本平均を、\begin{equation*}\overline{x}=\frac{x_{1}+\cdots +x_{n}}{n}
\end{equation*}で表記します。関数\(T:\mathbb{R} ^{n}\rightarrow \mathbb{R} \)はそれぞれのベクトル\(\boldsymbol{x}\in \mathbb{R} ^{n}\)に対して、以下の実数\begin{eqnarray*}T\left( \boldsymbol{x}\right) &=&\frac{\left( x_{1}-\overline{x}\right)
^{2}+\cdots +\left( x_{n}-\overline{x}\right) ^{2}}{n-1} \\
&=&\frac{1}{n-1}\sum_{i=1}^{n}\left( x_{i}-\overline{x}\right) ^{2}
\end{eqnarray*}を定めるものとします。これらの合成関数\(T\circ \boldsymbol{X}:\Omega \rightarrow \mathbb{R} \)として定義される統計量\begin{equation*}T\left( X_{1},\cdots ,X_{n}\right) :\Omega \rightarrow \mathbb{R} \end{equation*}を不偏分散（unviased variance）と呼び、\begin{equation*}
\frac{1}{n-1}\sum_{i=1}^{n}\left( X_{i}-\overline{X}\right) ^{2}:\Omega
\rightarrow \mathbb{R} \end{equation*}または、\begin{equation*}
S^{2}:\Omega \rightarrow \mathbb{R} \end{equation*}で表記します。

標本\(\boldsymbol{x}\in \boldsymbol{X}\left( \Omega \right) \)を任意に選んだとき、値域の定義より、\begin{equation}\exists \omega \in \Omega :\boldsymbol{x}=\boldsymbol{X}\left( \omega
\right) \quad \cdots (1)
\end{equation}が成り立つとともに、この\(\omega \in \Omega \)に対して不偏分散\(S^{2}\)が定める値は、\begin{eqnarray*}S^{2}\left( \omega \right) &=&T\left( X_{1},\cdots ,X_{n}\right) \\
&=&\left( T\circ \boldsymbol{X}\right) \left( \omega \right) \\
&=&T\left( \boldsymbol{X}\left( \omega \right) \right) \\
&=&T\left( \boldsymbol{x}\right) \quad \because \left( 1\right) \\
&=&\frac{1}{n-1}\sum_{i=1}^{n}\left( x_{i}-\overline{x}\right) ^{2}\quad
\because T\text{の定義}
\end{eqnarray*}となります。以上より、不偏分散\(S^{2}\)のもとでの標本\(\boldsymbol{x}\)の統計量は、\begin{eqnarray*}s^{2} &=&\frac{\left( x_{1}-\overline{x}\right) ^{2}+\cdots +\left( x_{n}-\overline{x}\right) ^{2}}{n-1} \\
&=&\frac{1}{n-1}\sum_{i=1}^{n}\left( x_{i}-\overline{x}\right) ^{2}
\end{eqnarray*}であることが明らかになりました。これを標本\(\boldsymbol{x}\)の不偏分散（unviased variance）などと呼びます。

不偏分散の導出プロセスの簡略化

ランダムサンプル\(X_{1},\cdots ,X_{n}\)の不偏分散は、\begin{equation*}S^{2}=\frac{1}{n-1}\sum_{i=1}^{n}\left( X_{i}-\overline{X}\right) ^{2}
\end{equation*}と定義される統計量ですが、これを以下のように表現することもできます。

不偏分散の期待値と母分散の関係

母集団分布が確率変数\(X\)の確率分布として表現されているものとします。\(X\)が離散型の確率変数である場合、母集団分布は確率質量関数\begin{equation*}f_{X}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}として表現されますが、この場合、\(X\)の期待値は、\begin{equation*}\mu =\sum_{x\in X\left( \Omega \right) }\left[ x\cdot f_{X}\left( x\right) \right] \end{equation*}と定義されるとともに、\(X\)の分散は、\begin{equation*}\sigma ^{2}=\sum_{x\in X\left( \Omega \right) }\left[ \left( x-\mu \right)
^{2}\cdot f_{X}\left( x\right) \right] \end{equation*}と定義されます。一方、\(X\)が連続型の確率変数である場合、母集団分布は確率密度関数\begin{equation*}f_{X}:\mathbb{R} \rightarrow \mathbb{R} \end{equation*}として表現されますが、この場合、\(X\)の期待値は、\begin{equation*}\mu =\int_{-\infty }^{+\infty }xf_{X}\left( x\right) dx
\end{equation*}と定義されるとともに、\(X\)の分散は、\begin{equation*}\sigma ^{2}=\int_{-\infty }^{+\infty }\left( x-\mu \right) ^{2}f_{X}\left(
x\right) dx
\end{equation*}と定義されます。いずれにせよ、母集団分布の分散\(\sigma ^{2}\)を母分散（population variance）と呼びます。母集団分布は観察不可能であるため、母分散\(\sigma \)もまた観察不可能です。

確率変数\(X_{1},\cdots ,X_{n}\)は母集団分布から抽出したランダムサンプルであるものとします。その上で、不偏分散\begin{equation*}S^{2}:\Omega \rightarrow \mathbb{R} \end{equation*}を定義します。不偏分散は確率変数であるためその期待値\(E\left(S^{2}\right) \)が定義可能ですが、不偏分散の期待値と母分散の間には以下の関係\begin{equation*}E\left( S^{2}\right) =\sigma ^{2}
\end{equation*}が成り立つことが保証されます。つまり、不偏分散の期待値は母分散と一致するため、不偏分散は母分散を推測する上での手掛かりになります。

標本分散ではなく不偏分散を採用する根拠

母集団分布から抽出した大きさ\(n\)のランダムサンプル\(X_{1},\cdots ,X_{n}\)に対して、不偏分散と呼ばれる統計量を、\begin{equation}S^{2}=\frac{1}{n-1}\sum_{i=1}^{n}\left( X_{i}-\overline{X}\right) ^{2}
\quad \cdots (1)
\end{equation}と定義すれば、不偏分散と母分散の間に以下の関係\begin{equation}
E\left( S^{2}\right) =\sigma ^{2} \quad \cdots (2)
\end{equation}が成り立つことが明らかになりました。

標本から定義される分散として不偏分散\(\left( 1\right) \)の代わりに、通常の分散の定義にもとづく、\begin{equation*}S^{2}=\frac{1}{n}\sum_{i=1}^{n}\left( X_{i}-\overline{X}\right) ^{2}
\end{equation*}を採用した場合にはどうなるでしょうか。この統計量を標本分散（sample variance）と呼びます。

統計量として不偏分散ではなく標本分散を採用した場合、\(\left(2\right) \)のような綺麗な関係は成り立ちません。

母集団分布から抽出した大きさ\(n\)のランダムサンプル\(X_{1},\cdots ,X_{n}\)に対して、標本分散と呼ばれる統計量を、\begin{equation*}S^{2}=\frac{1}{n-1}\sum_{i=1}^{n}\left( X_{i}-\overline{X}\right) ^{2}
\end{equation*}と定義した場合、以下の関係\begin{equation*}
E\left( S^{2}\right) =\sigma ^{2}
\end{equation*}は成り立たず、その代わりに、\begin{equation*}
E\left( S^{2}\right) =\frac{n-1}{n}\sigma ^{2}
\end{equation*}が成立することが明らかになりました。つまり、不偏分散の期待値は母分散よりも小さく評価されてしまいます。このような事情もあり、標本の散らばりを表す統計量として標本分散ではなく不偏分散を採用します。ちなみに、標本サイズ\(n\)が十分大きい場合には、\begin{eqnarray*}\lim_{n\rightarrow +\infty }\frac{n-1}{n}\sigma ^{2} &=&\lim_{n\rightarrow
+\infty }\left( 1-\frac{1}{n}\right) \sigma ^{2} \\
&=&\left( 1-0\right) \sigma ^{2} \\
&=&\sigma ^{2}
\end{eqnarray*}となるため、十分大きい\(n\)のもとでは、標本分散の期待値は母分散に限りなく近づきます。