分離超平面定理（超平面による凸集合と点の分離）

超平面による集合と点の分離

ユークリッド空間\(\mathbb{R} ^{n}\)における超平面とは、非ゼロの法線ベクトル\(a\in \mathbb{R} ^{n}\backslash \left\{ 0\right\} \)とスカラー\(c\in \mathbb{R} \)から、\begin{equation*}H\left( a,c\right) =\left\{ x\in \mathbb{R} ^{n}\ |\ a\cdot x=c\right\}
\end{equation*}と定義される\(\mathbb{R} ^{n}\)の部分集合です。超平面\(H\left( a,c\right) \)が与えられれば空間\(\mathbb{R} ^{n}\)を半空間\begin{eqnarray*}H^{+}\left( a,c\right) &=&\left\{ x\in \mathbb{R} ^{n}\ |\ a\cdot x\geq c\right\} \\
H^{-}\left( a,c\right) &=&\left\{ x\in \mathbb{R} ^{n}\ |\ a\cdot x\leq c\right\}
\end{eqnarray*}へと分割することができます。空間\(\mathbb{R} ^{n}\)は超平面\(H\left( a,c\right) \)を境に上半空間\(H^{+}\left( a,c\right) \)と下半空間\(H^{-}\left( a,c\right) \)に分割されますが、上半空間と下半空間は互いに素ではなく、両者の交わりは超平面と一致します。

ユークリッド空間上の集合\(X\subset \mathbb{R} ^{n}\)と点\(y\in \mathbb{R} ^{n}\)および超平面\(H\left( a,c\right) \)が与えられたとき、上半空間\(H^{+}\left( a,c\right) \)と下半空間\(H^{-}\left( a,c\right) \)のどちらか一方が集合\(X\)を部分集合として含むとともに、上半空間と下半空間のうち\(X\)を部分集合として含まないほうが点\(y\)を要素として含む場合には、すなわち、以下の2つの条件\begin{eqnarray*}&&\left( a\right) \ X\subset H^{+}\left( a,c\right) \wedge y\in H^{-}\left(
a,c\right) \\
&&\left( b\right) \ X\subset H^{-}\left( a,c\right) \wedge y\in H^{+}\left(
a,c\right)
\end{eqnarray*}のどちらか一方が成り立つ場合には、集合\(X\)と点\(y\)は超平面\(H\left(a,c\right) \)によって分離される（separated）と言います。半空間の定義より、上の2つの条件を、\begin{eqnarray*}&&\left( a\right) \ \left( \forall x\in X:a\cdot x\geq c\right) \wedge
a\cdot y\leq c \\
&&\left( b\right) \ \left( \forall x\in X:a\cdot x\leq c\right) \wedge
a\cdot y\geq c
\end{eqnarray*}とそれぞれ表現することもできます。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(y\)が下図で与えられているものとします。

\(\mathbb{R} ^{2}\)における超平面は直線です。上図中の直線に相当する超平面\(H\left( a,c\right) \)に注目します。空間\(\mathbb{R} ^{2}\)は超平面\(H\left( a,c\right) \)を境に上半空間\(H^{+}\left( a,c\right) \)と下半空間\(H^{-}\left( a,c\right) \)に分割されますが、両者の交わりが\(H\left( a,c\right) \)です。集合\(X\)は\(H^{+}\left( a,c\right) \)の部分集合であるとともに点\(y\)は\(H^{-}\left( a,c\right) \)の要素であるため、\(X\)と\(y\)は\(H\left( a,c\right) \)によって分離されています。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(y\)が下図で与えられているものとします。\(X\)は凸集合ではありません。

\(\mathbb{R} ^{2}\)における超平面は直線です。上図中の直線に相当する超平面\(H\left( a,c\right) \)に注目します。集合\(X\)は\(H^{+}\left( a,c\right) \)の部分集合であるとともに点\(y\)は\(H^{-}\left( a,c\right) \)の要素であるため、\(X\)と\(y\)は\(H\left(a,c\right) \)によって分離されています。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(y\)が下図で与えられているものとします。

\(\mathbb{R} ^{2}\)における超平面は直線です。上図中の直線に相当する超平面\(H\left( a,c\right) \)に注目します。集合\(X\)は\(H^{+}\left( a,c\right) \)の部分集合であるとともに点\(y\)は\(H\left( a,c\right) \)上にありますが、\(H\left( a,c\right) \subset H^{-}\left(a,c\right) \)であるため点\(y\)は\(H^{-}\left( a,c\right) \)上にあります。したがって\(X\)と\(y\)は\(H\left( a,c\right) \)によって分離されています。

例（超平面によって分離される集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(y\)が下図で与えられているものとします。

\(\mathbb{R} ^{2}\)における超平面は直線です。集合\(X\)は閉集合ではなく境界点を要素として持たず、\(X\)はその内部\(X^{i}\)と一致します。集合\(X\)は\(H^{+}\left(a,c\right) \)の部分集合であるとともに点\(y\)は\(H^{-}\left( a,c\right) \)の要素であるため、\(X\)と\(y\)は\(H\left( a,c\right) \)によって分離されています。

集合と点は超平面によって分離可能であるとは限りません。以下の例より明らかです。

例（超平面によって分離されない集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(y\)が下図で与えられているものとします。この集合\(X\)は凸集合ではありません。

\(\mathbb{R} ^{2}\)における超平面は直線です。\(\mathbb{R} ^{2}\)上のいかなる直線によっても集合\(X\)と点\(y\)を分離することはできません。具体例として、上図中の直線に相当する超平面\(H\left(a,c\right) \)に注目すると、点\(y\)は下半空間\(H^{-}\left( a,c\right) \)の要素であるものの、集合\(X\)は上半空間\(H^{+}\left(a,c\right) \)の部分集合ではありません。他の任意の超平面\(H\left( a,c\right) \)についても同様です。したがって、この集合\(X\)と点\(y\)はいかなる超平面によっても分離することはできません。この例は、凸集合と点は超平面によって分離可能であるとは限らないことを示唆しています。

例（超平面によって分離されない集合と点）

2次元ユークリッド空間\(\mathbb{R} ^{2}\)における集合\(X\)と点\(y\)が下図で与えられているものとします。\(y\)は\(X\)の内点です。

\(\mathbb{R} ^{2}\)における超平面は直線です。\(\mathbb{R} ^{2}\)上のいかなる直線によっても集合\(X\)と点\(y\)を分離することはできません。具体例として、上図中の直線に相当する超平面\(H\left(a,c\right) \)に注目すると、点\(y\)は下半空間\(H^{-}\left( a,c\right) \)の要素であるものの、集合\(X\)は上半空間\(H^{+}\left(a,c\right) \)の部分集合ではありません。他の任意の超平面\(H\left( a,c\right) \)についても同様です。したがって、この集合\(X\)と点\(y\)はいかなる超平面によっても分離することはできません。この例は、集合とその内点は超平面によって分離可能であるとは限らないことを示唆しています。

分離超平面定理

先の例が示唆するように、ユークリッド空間上の集合\(X\subset \mathbb{R} ^{n}\)が凸集合ではない場合や、点\(y\in \mathbb{R} ^{n}\)が問題としている集合\(X\)の内点である場合などには、集合\(X\)と点\(y\)はいかなる超平面によっても分離できない可能性があります。では、逆に、集合\(X\)が凸集合であり、なおかつ点\(y\)が問題としている凸集合\(X\)の内点ではない場合には、集合\(X\)と点\(y\)は何らかの超平面によって分離されるとまで言えるのでしょうか。この問いに答えるのが以下の命題です。これを分離超平面定理（separating hyperplane theorem）と呼びます。証明では狭義分離超平面定理と支持超平面定理を利用します。

上の命題の結論\begin{equation*}
a\cdot y\geq c\wedge \left( \forall x\in X:a\cdot x\leq c\right)
\end{equation*}を1つにまとめると、\begin{equation*}
\forall x\in X:a\cdot x\leq a\cdot y
\end{equation*}すなわち、\begin{equation*}
\forall x\in X:a\cdot \left( x-y\right) \leq 0
\end{equation*}となります。これは、非空な凸集合\(X\)に属さない\(y\)が与えられたとき、その点から集合\(X\)上の点\(x\)へ伸びる任意のベクトル\(x-y\)との角度が直角または鈍角になるようなベクトル\(a\)が存在するという主張です。

分離超平面定理の言い換え

先の命題において存在が保証される法線ベクトル\(a\in \mathbb{R} ^{n}\backslash \left\{ 0\right\} \)とスカラー\(c\in \mathbb{R} \)を踏まえた上で、新たな法線ベクトル\(a^{\prime }\)とスカラー\(c^{\prime }\)をそれぞれ、\begin{eqnarray*}a^{\prime } &=&-a\in \mathbb{R} ^{n}\backslash \left\{ 0\right\} \\
c^{\prime } &=&-c\in \mathbb{R} \end{eqnarray*}と定義します。この新たな法線ベクトル\(a^{\prime }\)とスカラー\(c\)のもとでの超平面は、\begin{equation*}H\left( a^{\prime },c^{\prime }\right) =\left\{ x\in \mathbb{R} ^{n}\ |\ a^{\prime }\cdot x=c^{\prime }\right\}
\end{equation*}となりますが、\begin{eqnarray*}
a^{\prime }\cdot x=c^{\prime } &\Leftrightarrow &-a\cdot x=-c \\
&\Leftrightarrow &a\cdot x=c
\end{eqnarray*}という関係が成り立つため、\begin{equation*}
H\left( a^{\prime },c^{\prime }\right) =H\left( a,c\right)
\end{equation*}となります。つまり、法線ベクトルとスカラーを\(\left( a,c\right) \)から\(\left(a^{\prime },c^{\prime }\right) =\left( -a,-c\right) \)へ入れ替えても超平面としては変わらないということです。ただし、\(a^{\prime }\ \left( =-a\right) \)は\(a\)とは逆向きのベクトルであるため、上半空間と下半空間は逆転します。つまり、\begin{eqnarray*}H^{+}\left( a^{\prime },c^{\prime }\right) &=&H^{-}\left( a,c\right) \\
H^{-}\left( a^{\prime },c^{\prime }\right) &=&H^{+}\left( a,c\right)
\end{eqnarray*}という関係が成り立つということです。

以上を踏まえた上で、先の命題の結論中の不等式の両辺をスカラー\(-1\)倍すると、\begin{equation*}-a\cdot y\leq -c\wedge \left( \forall x\in X:-a\cdot x\geq c\right)
\end{equation*}すなわち、\begin{equation*}
a^{\prime }\cdot y\leq c^{\prime }\wedge \left( \forall x\in X:a^{\prime
}\cdot x\geq c^{\prime }\right)
\end{equation*}すなわち、\begin{equation*}
y\in H^{-}\left( a^{\prime },c^{\prime }\right) \wedge X\subset H^{+}\left(
a^{\prime },c^{\prime }\right)
\end{equation*}を得ます。\(\left( a,c\right) \)が存在する場合には\(\left( a^{\prime},c^{\prime }\right) =\left( -a,-c\right) \)もまた存在するため、先の命題を以下のように表現することもできます。