多変数の凸関数・凹関数

2変数関数\(f:\mathbb{R} ^{2}\supset X\rightarrow \mathbb{R} \)が凸集合であることとは、定義域\(X\)が凸集合であるとともに、\begin{equation*}\forall \left( x_{1},x_{2}\right) ,\left( y_{1},y_{2}\right) \in X,\ \forall
\lambda \in \left[ 0,1\right] :\lambda f\left( x_{1},x_{2}\right) +\left(
1-\lambda \right) f\left( y_{1},y_{2}\right) \geq f\left( \lambda \left(
x_{1},x_{2}\right) +\left( 1-\lambda \right) \left( y_{1},y_{2}\right)
\right)
\end{equation*}が成り立つことを意味します。2変数関数\(f\)が凸関数であることの意味を視覚的に理解します。凸関数\(f\)のグラフ上の2つの点\begin{eqnarray*}A &:&\left( x_{1},x_{2},f\left( x_{1},x_{2}\right) \right) \\
B &:&\left( y_{1},y_{2},f\left( y_{1},y_{2}\right) \right)
\end{eqnarray*}を任意に選びます。この2つの点を結ぶ線分上に存在するそれぞれの点\(P\)の座標は、何らかのスカラー\(\lambda \in \left[ 0,1\right] \)を用いて、\begin{equation*}P:\left( \lambda x_{1}+\left( 1-\lambda \right) y_{1},\lambda x_{2}+\left(
1-\lambda \right) y_{2},\lambda f\left( x_{1},x_{2}\right) +\left( 1-\lambda
\right) f\left( y_{1},y_{2}\right) \right)
\end{equation*}と表すことができます。一方、点\(P\)と\(x,y\)座標を共有する関数\(f\)のグラフ上の点\(Q\)の座標は、\begin{equation*}Q:\left( \lambda x_{1}+\left( 1-\lambda \right) y_{1},\lambda x_{2}+\left(
1-\lambda \right) y_{2},f\left( \lambda \left( x_{1},x_{2}\right) +\left(
1-\lambda \right) \left( y_{1},y_{2}\right) \right) \right)
\end{equation*}ですが、凸関数の定義より、点\(P\)の\(z\)座標が点\(Q\)の\(z\)座標以上であること、すなわち点\(P\)の高さは点\(Q\)の高さと同じもしくは点\(Q\)より上方であることが保証されます。任意の\(\lambda \)について同様の議論が成り立つため、線分\(AB\)上の任意の点の位置は\(f\)のグラフ上もしくはそれより上方であることが保証されます。関数\(f\)のグラフ上の任意の2つの点\(A,B\)について同様の議論が成立するため、結局、2変数関数\(f\)が凸関数である場合、そのグラフは平面もしくは谷型の曲面になります。

凸集合上に定義された関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)について、\begin{equation*}\forall x\in X,\ \forall y\in X\backslash \left\{ x\right\} ,\ \forall
\lambda \in \left( 0,1\right) :\lambda f\left( x\right) +\left( 1-\lambda
\right) f\left( y\right) \geq f\left( \lambda x+\left( 1-\lambda \right)
y\right)
\end{equation*}が成り立つことは、\(f\)が凸関数であるための必要十分条件である。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x^{2}+y^{2}
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

\(f\)の定義域\(\mathbb{R} ^{2}\)は凸集合です。\(f\)のグラフは下に凸な曲面であるため\(f\)は凸関数であることが予想されます。実際、定義域上の点\(\left( x_{1},y_{1}\right) ,\left(x_{2},y_{2}\right) \in \mathbb{R} ^{2}\)とスカラー\(\lambda \in \left[ 0,1\right] \)をそれぞれ任意に選んだとき、\begin{eqnarray*}&&\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) -f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right) \\
&=&\lambda \left( x_{1}^{2}+y_{1}^{2}\right) +\left( 1-\lambda \right)
\left( x_{2}^{2}+y_{2}^{2}\right) -\left\{ \left[ \lambda x_{1}+\left(
1-\lambda \right) x_{2}\right] ^{2}+\left[ \lambda y_{1}+\left( 1-\lambda
\right) y_{2}\right] ^{2}\right\} \\
&=&\lambda \left( x_{1}^{2}+y_{1}^{2}\right) +\left( 1-\lambda \right)
\left( x_{2}^{2}+y_{2}^{2}\right) -\left[ \lambda ^{2}\left(
x_{1}^{2}+y_{1}^{2}\right) +2\lambda \left( 1-\lambda \right) \left(
x_{1}x_{2}+y_{1}y_{2}\right) +\left( 1-\lambda \right) ^{2}\left(
x_{2}^{2}+y_{2}^{2}\right) \right] \\
&=&\left( \lambda -\lambda ^{2}\right) \left( x_{1}^{2}+y_{1}^{2}\right) +
\left[ \left( 1-\lambda \right) -\left( 1-\lambda \right) ^{2}\right] \left(
x_{2}^{2}+y_{2}^{2}\right) -2\lambda \left( 1-\lambda \right) \left(
x_{1}x_{2}+y_{1}y_{2}\right) \\
&=&\lambda \left( 1-\lambda \right) \left( x_{1}^{2}+y_{1}^{2}\right)
+\lambda \left( 1-\lambda \right) \left( x_{2}^{2}+y_{2}^{2}\right)
-2\lambda \left( 1-\lambda \right) \left( x_{1}x_{2}+y_{1}y_{2}\right) \\
&=&\lambda \left( 1-\lambda \right) \left[ \left( x_{1}^{2}+y_{1}^{2}\right)
+\left( x_{2}^{2}+y_{2}^{2}\right) -2\left( x_{1}x_{2}+y_{1}y_{2}\right) \right] \\
&=&\lambda \left( 1-\lambda \right) \left[ \left( x_{1}-x_{1}\right)
^{2}+\left( y_{1}-y_{2}\right) ^{2}\right] \\
&\geq &0\quad \because \lambda \in \left[ 0,1\right] \end{eqnarray*}すなわち、\begin{equation*}
\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) \geq f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right)
\end{equation*}が成り立つため\(f\)は凸関数であることが示されました。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x+y
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

\(f\)の定義域\(\mathbb{R} ^{2}\)は凸集合です。\(f\)のグラフは平面であるため\(f\)は凸関数であることが予想されます。実際、定義域上の点\(\left( x_{1},y_{1}\right) ,\left( x_{2},y_{2}\right) \in \mathbb{R} ^{2}\)とスカラー\(\lambda \in \left[ 0,1\right] \)をそれぞれ任意に選んだとき、\begin{eqnarray*}&&\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) -f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right) \\
&=&\lambda \left( x_{1}+y_{1}\right) +\left( 1-\lambda \right) \left(
x_{2}+y_{2}\right) -\left\{ \left[ \lambda x_{1}+\left( 1-\lambda \right)
x_{2}\right] +\left[ \lambda y_{1}+\left( 1-\lambda \right) y_{2}\right] \right\} \\
&=&0
\end{eqnarray*}すなわち、\begin{equation*}
\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) =f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right)
\end{equation*}が成り立つため\(f\)は凸関数であることが示されました。この例は、グラフが平面であるような関数、もしくはグラフに平面部分が存在するような関数もまた凸関数になり得ることを示唆しています。

2変数関数\(f:\mathbb{R} ^{2}\supset X\rightarrow \mathbb{R} \)が凹集合であることとは、定義域\(X\)が凸集合であるとともに、\begin{equation*}\forall \left( x_{1},x_{2}\right) ,\left( y_{1},y_{2}\right) \in X,\ \forall
\lambda \in \left[ 0,1\right] :\lambda f\left( x_{1},x_{2}\right) +\left(
1-\lambda \right) f\left( y_{1},y_{2}\right) \leq f\left( \lambda \left(
x_{1},x_{2}\right) +\left( 1-\lambda \right) \left( y_{1},y_{2}\right)
\right)
\end{equation*}が成り立つことを意味します。2変数関数\(f\)が凹関数であることの意味を視覚的に理解します。凸関数\(f\)のグラフ上の2つの点\begin{eqnarray*}A &:&\left( x_{1},x_{2},f\left( x_{1},x_{2}\right) \right) \\
B &:&\left( y_{1},y_{2},f\left( y_{1},y_{2}\right) \right)
\end{eqnarray*}を任意に選びます。この2つの点を結ぶ線分上に存在するそれぞれの点\(P\)の座標は、何らかのスカラー\(\lambda \in \left[ 0,1\right] \)を用いて、\begin{equation*}P:\left( \lambda x_{1}+\left( 1-\lambda \right) y_{1},\lambda x_{2}+\left(
1-\lambda \right) y_{2},\lambda f\left( x_{1},x_{2}\right) +\left( 1-\lambda
\right) f\left( y_{1},y_{2}\right) \right)
\end{equation*}と表すことができます。一方、点\(P\)と\(x,y\)座標を共有する関数\(f\)のグラフ上の点\(Q\)の座標は、\begin{equation*}Q:\left( \lambda x_{1}+\left( 1-\lambda \right) y_{1},\lambda x_{2}+\left(
1-\lambda \right) y_{2},f\left( \lambda \left( x_{1},x_{2}\right) +\left(
1-\lambda \right) \left( y_{1},y_{2}\right) \right) \right)
\end{equation*}ですが、凹関数の定義より、点\(P\)の\(z\)座標が点\(Q\)の\(z\)座標以下であること、すなわち点\(P\)の高さは点\(Q\)の高さと同じもしくは点\(Q\)より下方であることが保証されます。任意の\(\lambda \)について同様の議論が成り立つため、線分\(AB\)上の任意の点の位置は\(f\)のグラフ上もしくはそれより下方であることが保証されます。関数\(f\)のグラフ上の任意の2つの点\(A,B\)について同様の議論が成立するため、結局、2変数関数\(f\)が凹関数である場合、そのグラフは平面もしくは山型の曲面になります。

凸集合上に定義された関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)について、\begin{equation*}\forall x\in X,\ \forall y\in X\backslash \left\{ x\right\} ,\ \forall
\lambda \in \left( 0,1\right) :\lambda f\left( x\right) +\left( 1-\lambda
\right) f\left( y\right) \leq f\left( \lambda x+\left( 1-\lambda \right)
y\right)
\end{equation*}が成り立つことは、\(f\)が凹関数であるための必要十分条件である。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =-x^{2}-y^{2}
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

\(f\)の定義域\(\mathbb{R} ^{2}\)は凸集合です。\(f\)のグラフは山型の曲面であるため\(f\)は凹関数であることが予想されます。実際、定義域上の点\(\left( x_{1},y_{1}\right) ,\left(x_{2},y_{2}\right) \in \mathbb{R} ^{2}\)とスカラー\(\lambda \in \left[ 0,1\right] \)をそれぞれ任意に選んだとき、\begin{eqnarray*}&&\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) -\left[ f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right) \right] \\
&=&-\left[ \lambda \left( x_{1}^{2}+y_{1}^{2}\right) +\left( 1-\lambda
\right) \left( x_{2}^{2}+y_{2}^{2}\right) \right] -\left\{ -\left[ \lambda
x_{1}+\left( 1-\lambda \right) x_{2}\right] ^{2}+-\left[ \lambda
y_{1}+\left( 1-\lambda \right) y_{2}\right] ^{2}\right\} \\
&=&-\lambda \left( x_{1}^{2}+y_{1}^{2}\right) -\left( 1-\lambda \right)
\left( x_{2}^{2}+y_{2}^{2}\right) +\left[ \lambda ^{2}\left(
x_{1}^{2}+y_{1}^{2}\right) +2\lambda \left( 1-\lambda \right) \left(
x_{1}x_{2}+y_{1}y_{2}\right) +\left( 1-\lambda \right) ^{2}\left(
x_{2}^{2}+y_{2}^{2}\right) \right] \\
&=&-\left( \lambda -\lambda ^{2}\right) \left( x_{1}^{2}+y_{1}^{2}\right) –
\left[ \left( 1-\lambda \right) -\left( 1-\lambda \right) ^{2}\right] \left(
x_{2}^{2}+y_{2}^{2}\right) +2\lambda \left( 1-\lambda \right) \left(
x_{1}x_{2}+y_{1}y_{2}\right) \\
&=&-\lambda \left( 1-\lambda \right) \left( x_{1}^{2}+y_{1}^{2}\right)
-\lambda \left( 1-\lambda \right) \left( x_{2}^{2}+y_{2}^{2}\right)
+2\lambda \left( 1-\lambda \right) \left( x_{1}x_{2}+y_{1}y_{2}\right) \\
&=&-\lambda \left( 1-\lambda \right) \left[ \left(
x_{1}^{2}+y_{1}^{2}\right) +\left( x_{2}^{2}+y_{2}^{2}\right) -2\left(
x_{1}x_{2}+y_{1}y_{2}\right) \right] \\
&=&-\lambda \left( 1-\lambda \right) \left[ \left( x_{1}-x_{1}\right)
^{2}+\left( y_{1}-y_{2}\right) ^{2}\right] \\
&\leq &0\quad \because \lambda \in \left[ 0,1\right] \end{eqnarray*}すなわち、\begin{equation*}
\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) \leq f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right)
\end{equation*}が成り立つため\(f\)は凸関数であることが示されました。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x+y
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

\(f\)の定義域\(\mathbb{R} ^{2}\)は凸集合です。\(f\)のグラフは平面であるため\(f\)は凹関数であることが予想されます。実際、定義域上の点\(\left( x_{1},y_{1}\right) ,\left( x_{2},y_{2}\right) \in \mathbb{R} ^{2}\)とスカラー\(\lambda \in \left[ 0,1\right] \)をそれぞれ任意に選んだとき、\begin{eqnarray*}&&\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) -f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right) \\
&=&\lambda \left( x_{1}+y_{1}\right) +\left( 1-\lambda \right) \left(
x_{2}+y_{2}\right) -\left\{ \left[ \lambda x_{1}+\left( 1-\lambda \right)
x_{2}\right] +\left[ \lambda y_{1}+\left( 1-\lambda \right) y_{2}\right] \right\} \\
&=&0
\end{eqnarray*}すなわち、\begin{equation*}
\lambda f\left( x_{1},y_{1}\right) +\left( 1-\lambda \right) f\left(
x_{2},y_{2}\right) =f\left( \lambda \left( x_{1},y_{1}\right) +\left(
1-\lambda \right) \left( x_{2},y_{2}\right) \right)
\end{equation*}が成り立つため\(f\)は凹関数であることが示されました。この例は、グラフが平面であるような関数、もしくはグラフに平面部分が存在するような関数もまた凹関数になり得ることを示唆しています。また、先に示したようにこの関数\(f\)は凸関数でもあるため、この例は、凸関数かつ凹関数であるような関数が存在することも示唆しています。

凸集合上に定義された関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)に関して、\begin{eqnarray*}&&\left( a\right) \ f\text{が凸関数}\Leftrightarrow
-f\text{が凹関数} \\
&&\left( b\right) \ f\text{が凹関数}\Leftrightarrow
-f\text{が凸関数}
\end{eqnarray*}がともに成り立つ。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x^{2}+y^{2}
\end{equation*}を定めるものとします。先に示したように\(f\)は凸関数です。したがって上の命題より、それぞれの\(\left( x,y\right)\in \mathbb{R} ^{2}\)に対して、\begin{equation*}-f\left( x,y\right) =-x^{2}-y^{2}
\end{equation*}を定める関数\(-f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)は凹関数ですが、これは先の例と整合的です。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x+y
\end{equation*}を定めるものとします。先に示したように\(f\)は凸関数かつ凹関数です。したがって、上の命題より、それぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}-f\left( x,y\right) =-x-y
\end{equation*}を定める関数\(-f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)は凸関数かつ凹関数です。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =xy
\end{equation*}を定めるものとします。\(f\)の定義域\(\mathbb{R} ^{2}\)は凸集合ですが、\(f\)は凸関数と凹関数のいずれでもありません（演習問題）。

凸集合上に定義された関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)について以下の問いに答えてください。

1. \(f\)が凸関数ではないという主張を定式化してください。
2. \(f\)が凹関数ではないという主張を定式化してください。
3. \(f\)が凸関数と凹関数のどちらでもないような状況は起こり得るでしょうか。議論してください。

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =\left( x+y\right) ^{2}
\end{equation*}を定めるものとします。\(f\)は凸関数、凹関数、凸関数と凹関数のどちらでもない、のどれでしょうか。議論してください。