分離超平面定理（超平面による凸集合と点の分離）

超平面による集合と点の分離

ユークリッド空間\(\mathbb{R} ^{n}\)における超平面とは、法線ベクトル\(\boldsymbol{a}\in \mathbb{R} ^{n}\backslash \left\{ \boldsymbol{0}\right\} \)とスカラー\(c\in \mathbb{R} \)から、\begin{equation*}H\left( \boldsymbol{a},c\right) =\left\{ \boldsymbol{x}\in \mathbb{R} ^{n}\ |\ \boldsymbol{a}\cdot \boldsymbol{x}=c\right\}
\end{equation*}と定義される\(\mathbb{R} ^{n}\)の部分集合です。超平面\(H\left( \boldsymbol{a},c\right) \)が与えられれば空間\(\mathbb{R} ^{n}\)を半空間\begin{eqnarray*}H^{+}\left( \boldsymbol{a},c\right) &=&\left\{ \boldsymbol{x}\in \mathbb{R} ^{n}\ |\ \boldsymbol{a}\cdot \boldsymbol{x}\geq c\right\} \\
H^{-}\left( \boldsymbol{a},c\right) &=&\left\{ \boldsymbol{x}\in \mathbb{R} ^{n}\ |\ \boldsymbol{a}\cdot \boldsymbol{x}\leq c\right\}
\end{eqnarray*}へと分割できます。空間\(\mathbb{R} ^{n}\)は超平面\(H\left( \boldsymbol{a},c\right) \)を境に上半空間\(H^{+}\left( \boldsymbol{a},c\right) \)と下半空間\(H^{-}\left( \boldsymbol{a},c\right) \)に分割されますが、上半空間と下半空間は互いに素ではなく、両者の交わりは超平面と一致します。

ユークリッド空間上の集合\(X\subset \mathbb{R} ^{n}\)と点\(\boldsymbol{y}\in \mathbb{R} ^{n}\)および超平面\(H\left( \boldsymbol{a},c\right) \)が与えられたとき、上半空間\(H^{+}\left( \boldsymbol{a},c\right) \)と下半空間\(H^{-}\left( \boldsymbol{a},c\right) \)のどちらか一方が集合\(X\)を部分集合として含むとともに、上半空間と下半空間のうち\(X\)を部分集合として含まないほうが点\(\boldsymbol{y}\)を要素として含む場合には、すなわち、以下の2つの条件\begin{eqnarray*}&&\left( a\right) \ X\subset H^{+}\left( \boldsymbol{a},c\right) \wedge
\boldsymbol{y}\in H^{-}\left( \boldsymbol{a},c\right) \\
&&\left( b\right) \ X\subset H^{-}\left( \boldsymbol{a},c\right) \wedge
\boldsymbol{y}\in H^{+}\left( \boldsymbol{a},c\right)
\end{eqnarray*}のどちらか一方が成り立つ場合には、集合\(X\)と点\(\boldsymbol{y}\)は超平面\(H\left( \boldsymbol{a},c\right) \)によって分離される（separated）と言います。半空間の定義より、先の2つの条件を、\begin{eqnarray*}&&\left( a\right) \ \left( \forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot
\boldsymbol{x}\geq c\right) \wedge \boldsymbol{a}\cdot \boldsymbol{y}\leq c
\\
&&\left( b\right) \ \left( \forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot
\boldsymbol{x}\leq c\right) \wedge \boldsymbol{a}\cdot \boldsymbol{y}\geq c
\end{eqnarray*}とそれぞれ表現することもできます。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(\boldsymbol{y}\)が下図で与えられているものとします。

\(\mathbb{R} ^{2}\)における超平面は直線です。上図中の直線に相当する超平面\(H\left( \boldsymbol{a},c\right) \)に注目します。空間\(\mathbb{R} ^{2}\)は超平面\(H\left( \boldsymbol{a},c\right) \)を境に上半空間\(H^{+}\left( \boldsymbol{a},c\right) \)と下半空間\(H^{-}\left( \boldsymbol{a},c\right) \)に分割されますが、両者の交わりが\(H\left( \boldsymbol{a},c\right) \)です。集合\(X\)は\(H^{+}\left( \boldsymbol{a},c\right) \)の部分集合であるとともに点\(\boldsymbol{y}\)は\(H^{-}\left( \boldsymbol{a},c\right) \)の要素であるため、\(X\)と\(\boldsymbol{y}\)は\(H\left( \boldsymbol{a},c\right) \)によって分離されています。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(\boldsymbol{y}\)が下図で与えられているものとします。\(X\)は凸集合ではありません。

\(\mathbb{R} ^{2}\)における超平面は直線です。上図中の直線に相当する超平面\(H\left( \boldsymbol{a},c\right) \)に注目します。集合\(X\)は\(H^{+}\left( \boldsymbol{a},c\right) \)の部分集合であるとともに点\(\boldsymbol{y}\)は\(H^{-}\left( \boldsymbol{a},c\right) \)の要素であるため、\(X\)と\(\boldsymbol{y}\)は\(H\left( \boldsymbol{a},c\right) \)によって分離されています。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(\boldsymbol{y}\)が下図で与えられているものとします。

\(\mathbb{R} ^{2}\)における超平面は直線です。上図中の直線に相当する超平面\(H\left( \boldsymbol{a},c\right) \)に注目します。集合\(X\)は\(H^{+}\left( \boldsymbol{a},c\right) \)の部分集合であるとともに点\(\boldsymbol{y}\)は\(H\left( \boldsymbol{a},c\right) \)上にありますが、\(H\left( \boldsymbol{a},c\right) \subset H^{-}\left( \boldsymbol{a},c\right) \)であるため点\(\boldsymbol{y}\)は\(H^{-}\left( \boldsymbol{a},c\right) \)上にあります。したがって\(X\)と\(\boldsymbol{y}\)は\(H\left( \boldsymbol{a},c\right) \)によって分離されています。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(\boldsymbol{y}\)が下図で与えられているものとします。

\(\mathbb{R} ^{2}\)における超平面は直線です。集合\(X\)は閉集合ではなく境界点を要素として持たず、\(X\)はその内部\(X^{i}\)と一致します。集合\(X\)は\(H^{+}\left( \boldsymbol{a},c\right) \)の部分集合であるとともに点\(\boldsymbol{y}\)は\(H^{-}\left( \boldsymbol{a},c\right) \)の要素であるため、\(X\)と\(\boldsymbol{y}\)は\(H\left( \boldsymbol{a},c\right) \)によって分離されています。

集合と点は超平面によって分離可能であるとは限りません。以下の例より明らかです。

例（超平面によって分離されない集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(\boldsymbol{y}\)が下図で与えられているものとします。この集合\(X\)は凸集合ではありません。

\(\mathbb{R} ^{2}\)における超平面は直線です。\(\mathbb{R} ^{2}\)上のいかなる直線によっても集合\(X\)と点\(\boldsymbol{y}\)を分離することはできません。具体例として、上図中の直線に相当する超平面\(H\left( \boldsymbol{a},c\right) \)に注目すると、点\(\boldsymbol{y}\)は下半空間\(H^{-}\left( \boldsymbol{a},c\right) \)の要素であるものの、集合\(X\)は上半空間\(H^{+}\left( \boldsymbol{a},c\right) \)の部分集合ではありません。他の任意の超平面\(H\left( \boldsymbol{a},c\right) \)についても同様です。したがって、この集合\(X\)と点\(\boldsymbol{y}\)はいかなる超平面によっても分離することはできません。この例は、凸集合と点は超平面によって分離可能であるとは限らないことを示唆しています。

例（超平面によって分離されない集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(\boldsymbol{y}\)が下図で与えられているものとします。\(\boldsymbol{y}\)は\(X\)の内点です。

\(\mathbb{R} ^{2}\)における超平面は直線です。\(\mathbb{R} ^{2}\)上のいかなる直線によっても集合\(X\)と点\(\boldsymbol{y}\)を分離することはできません。具体例として、上図中の直線に相当する超平面\(H\left( \boldsymbol{a},c\right) \)に注目すると、点\(\boldsymbol{y}\)は下半空間\(H^{-}\left( \boldsymbol{a},c\right) \)の要素であるものの、集合\(X\)は上半空間\(H^{+}\left( \boldsymbol{a},c\right) \)の部分集合ではありません。他の任意の超平面\(H\left( \boldsymbol{a},c\right) \)についても同様です。したがって、この集合\(X\)と点\(\boldsymbol{y}\)はいかなる超平面によっても分離することはできません。この例は、集合とその内点は超平面によって分離可能であるとは限らないことを示唆しています。

分離超平面定理

先の例が示唆するように、ユークリッド空間上の集合\(X\subset \mathbb{R} ^{n}\)が凸集合ではない場合や、点\(\boldsymbol{y}\in \mathbb{R} ^{n}\)が問題としている集合\(X\)の内点である場合などには、集合\(X\)と点\(\boldsymbol{y}\)はいかなる超平面によっても分離できない可能性があります。では、逆に、集合\(X\)が凸集合であり、なおかつ点\(\boldsymbol{y}\)が問題としている凸集合\(X\)の内点ではない場合には、集合\(X\)と点\(\boldsymbol{y}\)は何らかの超平面によって分離されるとまで言えるのでしょうか。この問いに答えるのが以下の命題です。これを分離超平面定理（separating hyperplane theorem）と呼びます。証明では狭義分離超平面定理と支持超平面定理を利用します。

先の命題の結論\begin{equation*}
\boldsymbol{a}\cdot \boldsymbol{y}\geq c\wedge \left( \forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot \boldsymbol{x}\leq c\right)
\end{equation*}を1つにまとめると、\begin{equation*}
\forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot \boldsymbol{x}\leq
\boldsymbol{a}\cdot \boldsymbol{y}
\end{equation*}すなわち、\begin{equation*}
\forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot \left( \boldsymbol{x}-\boldsymbol{y}\right) \leq 0
\end{equation*}となります。これは、非空な凸集合\(X\)に属さない\(\boldsymbol{y}\)が与えられたとき、その点から集合\(X\)上の点\(\boldsymbol{x}\)へ伸びる任意のベクトル\(\boldsymbol{x}-\boldsymbol{y}\)との角度が直角または鈍角になるようなベクトル\(\boldsymbol{a}\)が存在するという主張です。

分離超平面定理の言い換え

先の命題において存在が保証される法線ベクトル\(\boldsymbol{a}\in \mathbb{R} ^{n}\backslash \left\{ \boldsymbol{0}\right\} \)とスカラー\(c\in \mathbb{R} \)を踏まえた上で、新たな法線ベクトル\(\boldsymbol{a}^{\prime }\in \mathbb{R} ^{n}\backslash \left\{ \boldsymbol{0}\right\} \)とスカラー\(c^{\prime }\in \mathbb{R} \)をそれぞれ、\begin{eqnarray*}\boldsymbol{a}^{\prime } &=&-\boldsymbol{a} \\
c^{\prime } &=&-c
\end{eqnarray*}と定義します。この新たな法線ベクトル\(\boldsymbol{a}^{\prime }\)とスカラー\(c\)のもとでの超平面は、\begin{equation*}H\left( \boldsymbol{a}^{\prime },c^{\prime }\right) =\left\{ \boldsymbol{x}\in \mathbb{R} ^{n}\ |\ \boldsymbol{a}^{\prime }\cdot \boldsymbol{x}=c^{\prime }\right\}
\end{equation*}ですが、\begin{eqnarray*}
\boldsymbol{a}^{\prime }\cdot \boldsymbol{x}=c^{\prime } &\Leftrightarrow &-\boldsymbol{a}\cdot \boldsymbol{x}=-c \\
&\Leftrightarrow &\boldsymbol{a}\cdot \boldsymbol{x}=c
\end{eqnarray*}が成り立つため、\begin{equation*}
H\left( \boldsymbol{a}^{\prime },c^{\prime }\right) =H\left( \boldsymbol{a},c\right)
\end{equation*}を得ます。つまり、法線ベクトルとスカラーを\(\left( \boldsymbol{a},c\right) \)から\(\left( \boldsymbol{a}^{\prime },c^{\prime }\right) =\left( -\boldsymbol{a},-c\right) \)へ入れ替えても超平面としては変わらないということです。ただし、\(\boldsymbol{a}^{\prime }\ \left( =-\boldsymbol{a}\right) \)は\(\boldsymbol{a}\)とは逆向きのベクトルであるため、上半空間と下半空間は逆転します。つまり、\begin{eqnarray*}H^{+}\left( \boldsymbol{a}^{\prime },c^{\prime }\right) &=&H^{-}\left(
\boldsymbol{a},c\right) \\
H^{-}\left( \boldsymbol{a}^{\prime },c^{\prime }\right) &=&H^{+}\left(
\boldsymbol{a},c\right)
\end{eqnarray*}であるということです。

以上を踏まえた上で、先の命題の結論中の不等式の両辺をスカラー\(-1\)倍すると、\begin{equation*}-\boldsymbol{a}\cdot \boldsymbol{y}\leq -c\wedge \left( \forall \boldsymbol{x}\in X:-\boldsymbol{a}\cdot \boldsymbol{x}\geq c\right)
\end{equation*}すなわち、\begin{equation*}
\boldsymbol{a}^{\prime }\cdot \boldsymbol{y}\leq c^{\prime }\wedge \left(
\forall \boldsymbol{x}\in X:\boldsymbol{a}^{\prime }\cdot \boldsymbol{x}\geq
c^{\prime }\right)
\end{equation*}すなわち、\begin{equation*}
\boldsymbol{y}\in H^{-}\left( \boldsymbol{a}^{\prime },c^{\prime }\right)
\wedge X\subset H^{+}\left( \boldsymbol{a}^{\prime },c^{\prime }\right)
\end{equation*}を得ます。\(\left( \boldsymbol{a},c\right) \)が存在する場合には\(\left( \boldsymbol{a}^{\prime },c^{\prime }\right) =\left( -\boldsymbol{a},-c\right) \)もまた存在するため、先の命題を以下のように表現することもできます。

狭義分離超平面定理との違い

狭義の分離超平面定理はユークリッド空間上の集合と点を狭義に分離する超平面の存在を保証している一方で、本ページにおいて解説した分離超平面定理はユークリッド空間上の集合と点を分離する超平面の存在を保証します。ユークリッド空間上の集合と点が与えられたとき、それらを分離する超平面は、それらを狭義分離するとは限りません。以下の例より明らかです。

分離超平面定理の逆の主張

ユークリッド空間上の集合\(X\subset \mathbb{R} ^{n}\)が非空かつ凸集合であるとともに点\(\boldsymbol{y}\in \mathbb{R} ^{n}\)が\(\boldsymbol{y}\not\in X\)を満たす場合には、\(X\)と\(\boldsymbol{y}\)を分離する超平面\(H\left( \boldsymbol{a},c\right) \)が存在することが明らかになりましたが、その逆の主張は成り立つとは限りません。つまり、\(X\)が非空な凸集合である状況において\(X\)と\(\boldsymbol{y}\)を分離する超平面\(H\left( \boldsymbol{a},c\right) \)が存在する場合に\(\boldsymbol{y}\not\in X\)は成り立つとは限りません。以下の例より明らかです。

支持関数を用いた分離超平面定理の解釈

分離超平面定理の結論\begin{equation*}
\boldsymbol{a}\cdot \boldsymbol{y}\geq c\wedge \left( \forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot \boldsymbol{x}\leq c\right)
\end{equation*}を1つにまとめると、\begin{equation*}
\forall \boldsymbol{x}\in X:\boldsymbol{a}\cdot \boldsymbol{x}\leq
\boldsymbol{a}\cdot \boldsymbol{y}
\end{equation*}となります。このとき、\(\boldsymbol{a}\cdot \boldsymbol{x}\)がとり得る値からなる集合は上に有界であるため、実数の連続性より、\begin{equation*}\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}
\end{equation*}が有限な実数として定まるとともに、\begin{equation*}
\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}\leq \boldsymbol{a}\cdot \boldsymbol{y}
\end{equation*}が成り立ちます。この意味を以下のように理解できます。

法線ベクトル\(\boldsymbol{a}\in \mathbb{R} ^{n}\backslash \left\{ \boldsymbol{0}\right\} \)とベクトル\(\boldsymbol{x}\in X\)が与えられたとき、\(\boldsymbol{x}\)の\(\boldsymbol{a}\)へのベクトル射影は、\begin{equation*}\mathrm{proj}_{\boldsymbol{a}}\boldsymbol{x}=\frac{\boldsymbol{a}\cdot \boldsymbol{x}}{\left\Vert \boldsymbol{a}\right\Vert ^{2}}\boldsymbol{a}
\end{equation*}として与えられるため、その大きさは、\begin{eqnarray*}
\left\Vert \mathrm{proj}_{\boldsymbol{a}}\boldsymbol{x}\right\Vert
&=&\left\Vert \frac{\boldsymbol{a}\cdot \boldsymbol{x}}{\left\Vert
\boldsymbol{a}\right\Vert ^{2}}\boldsymbol{a}\right\Vert \\
&=&\frac{\left\vert \boldsymbol{a}\cdot \boldsymbol{x}\right\vert }{\left\Vert \boldsymbol{a}\right\Vert ^{2}}\left\Vert \boldsymbol{a}\right\Vert \\
&=&\frac{\left\vert \boldsymbol{a}\cdot \boldsymbol{x}\right\vert }{\left\Vert \boldsymbol{a}\right\Vert }
\end{eqnarray*}となるため、\begin{equation*}
\left\vert \boldsymbol{a}\cdot \boldsymbol{x}\right\vert =\left\Vert
\boldsymbol{a}\right\Vert \cdot \left\Vert \mathrm{proj}_{\boldsymbol{a}}\boldsymbol{x}\right\Vert
\end{equation*}を得ます。特に、\(\boldsymbol{a}\)と\(\boldsymbol{x}\)のなす角が鋭角である場合には\(\boldsymbol{a}\cdot \boldsymbol{x}>0\)であるため、\begin{equation*}\boldsymbol{a}\cdot \boldsymbol{x}=\left\Vert \boldsymbol{a}\right\Vert
\cdot \left\Vert \mathrm{proj}_{\boldsymbol{a}}\boldsymbol{x}\right\Vert
\end{equation*}を得ます。つまり、内積\(\boldsymbol{a}\cdot \boldsymbol{x}\)の値は、\(X\)上のベクトル\(\boldsymbol{x}\)を法線ベクトル\(\boldsymbol{a}\)の方向に射影した場合の到達可能な長さを表しています。\(X\)上のすべてのベクトル\(\boldsymbol{x}\)について同様に\(\boldsymbol{a}\cdot \boldsymbol{x}\)を特定した上で、その中の上限\begin{equation*}\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}
\end{equation*}をとれば、これは、\(X\)に属するすべてのベクトルを法線ベクトル\(\boldsymbol{a}\)の方向に射影した場合の到達可能な長さの上限を表しています。そのような中で、\begin{equation}\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}\leq \boldsymbol{a}\cdot \boldsymbol{y} \quad \cdots (1)
\end{equation}が成り立つこととは、\(X\)に属するどのベクトルを\(\boldsymbol{a}\)の方向に射影しても、\(\boldsymbol{y}\)を\(\boldsymbol{a}\)の方向に射影した場合の長さ以下であることを意味します。したがって、この場合には\(X\)と\(\boldsymbol{y}\)を分離する超平面が存在します。具体例として、以下の超平面\begin{equation}H\left( \boldsymbol{a},\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot
\boldsymbol{x}\right) \quad \cdots (2)
\end{equation}に注目すると、\(\left( 1\right) \)より、\begin{equation*}y\in H^{+}\left( \boldsymbol{a},\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}\right)
\end{equation*}が成り立ち、上限の定義より、\begin{equation*}
\forall x\in X:\boldsymbol{a}\cdot \boldsymbol{x}\leq \sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}
\end{equation*}すなわち、\begin{equation*}
X\subset H^{-}\left( \boldsymbol{a},\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}\right)
\end{equation*}が成り立つため、\(\left(2\right) \)は\(X\)と\(y\)を分離する超平面の1つです。

ちなみに、非空な凸集合\(X\subset \mathbb{R} ^{n}\)が与えられたとき、それぞれの非ゼロベクトル\(\boldsymbol{a}\in \mathbb{R} ^{n}\backslash \left\{ \boldsymbol{0}\right\} \)に対して、\begin{equation*}h_{X}\left( \boldsymbol{a}\right) =\sup_{\boldsymbol{x}\in X}\boldsymbol{a}\cdot \boldsymbol{x}
\end{equation*}を定める関数\begin{equation*}
h_{X}:\mathbb{R} ^{n}\backslash \left\{ \boldsymbol{0}\right\} \rightarrow \mathbb{R} \end{equation*}を支持関数と呼びます。支持関数を用いると、先の命題を、\begin{equation*}
h_{X}\left( \boldsymbol{a}\right) \leq \boldsymbol{a}\cdot \boldsymbol{y}
\end{equation*}と表現できるとともに、\(X\)と\(y\)を分離する超平面の具体例の1つを、\begin{equation*}H\left( \boldsymbol{a},h_{X}\left( \boldsymbol{a}\right) \right)
\end{equation*}と表現できますが、その直感的意味は先述の通りです。

演習問題