多変数関数の局所最適解

多変数関数の極大点と極大値

多変数関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)が与えられたとき、\(f\left( \boldsymbol{x}\right) \)の値を最大化するような点\(\boldsymbol{a}\)が\(f\)の定義域\(X\)上に存在する場合には、すなわち、\begin{equation*}\exists \boldsymbol{a}\in X,\ \forall \boldsymbol{x}\in X:f\left(
\boldsymbol{a}\right) \geq f\left( \boldsymbol{x}\right)
\end{equation*}が成り立つ場合には、このような点\(\boldsymbol{a}\)を\(f\)の最大点と呼び、\(f\)が最大点\(\boldsymbol{a}\)に対して定める値\(f\left( \boldsymbol{a}\right) \)を\(f\)の最大値と呼びます。つまり、関数\(f\)の最大点とは、変数\(\boldsymbol{x}\)が定義域\(X\)上のすべての値を取り得ることを認めた場合に、\(f\left( \boldsymbol{x}\right) \)の値を最大化するような\(X\)上の点\(\boldsymbol{x}\)に相当します。一方、変数\(\boldsymbol{x}\)がとり得る値を\(X\)の部分集合に制限した上で、その限定された範囲の中で\(f\left( \boldsymbol{x}\right) \)の値を最大化するような最大点\(\boldsymbol{x}\)を考えることもできます。

関数\(f\)の定義域上の点\(\boldsymbol{a}\in X\)が与えられたとき、変数\(\boldsymbol{x}\)がとり得る値の範囲を点\(\boldsymbol{a}\)の周辺に限定し、その範囲内において\(f\left( \boldsymbol{x}\right) \)の値が点\(\boldsymbol{a}\)のもとで最大化されるのであれば、点\(\boldsymbol{a}\)は\(f\)の局所的な最大点であると言えます。そのような場合、点\(\boldsymbol{a}\)は関数\(f\)の極大点（maximal point）であると言います。厳密な定義は以下の通りです。

関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)および定義域上の点\(\boldsymbol{a}\in X\)が与えられたとき、点\(\boldsymbol{a}\)が中心で半径が\(\varepsilon >0\)であるような近傍\begin{equation*}N_{\varepsilon }\left( \boldsymbol{a}\right) =\left\{ \boldsymbol{x}\in \mathbb{R} ^{n}\ |\ \left\Vert \boldsymbol{x}-\boldsymbol{a}\right\Vert <\varepsilon
\right\}
\end{equation*}をとります。さらに、これと関数\(f\)の定義域\(X\)の共通部分\begin{equation*}N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X
\end{equation*}をとります（理由は後述します）。\(\boldsymbol{a}\in X\)かつ\(\boldsymbol{a}\in N_{\varepsilon }\left( \boldsymbol{a}\right) \)および共通部分の定義より\(\boldsymbol{a}\in N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X\)であることに注意してください。十分小さい半径\(\varepsilon \)を選んだ上で、変数\(\boldsymbol{x}\)がとり得る範囲を\(N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X\)に制限したとき、\(f\left( \boldsymbol{x}\right) \)の値が\(\boldsymbol{a}\)のもとで最大化されるのであれば、すなわち、\begin{equation*}\exists \varepsilon >0,\ \forall \boldsymbol{x}\in N_{\varepsilon }\left(
\boldsymbol{a}\right) \cap X:f\left( \boldsymbol{a}\right) \geq f\left(
\boldsymbol{x}\right)
\end{equation*}が成り立つ場合には、このような点\(\boldsymbol{a}\)を\(f\)の極大点（maximal point）や局所的最大点（local maximum point）もしくは相対的最大点（relative maximum point）などと呼びます。また、\(f\)の極大点\(\boldsymbol{a}\)が存在する場合、\(f\)が点\(\boldsymbol{a}\)に対して定める値\(f\left( \boldsymbol{a}\right) \)を\(f\)の極大値（maximal value）や局所的最大値（local maximum value）もしくは相対的最大値（relative maximum value）などと呼びます。

関数の極大点の定義において、変数\(\boldsymbol{x}\)がとり得る値の範囲として点の近傍\(N_{\varepsilon}\left( \boldsymbol{a}\right) \)を採用するのではなく、それと関数\(f\)の定義域\(X\)の共通部分である、\begin{equation*}N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X
\end{equation*}を採用するのはなぜでしょうか。その理由を理解するために、点\(\boldsymbol{a}\in X\)が関数\(f\)の極大点であることの定義として、\begin{equation}\exists \varepsilon >0,\ \forall \boldsymbol{x}\in N_{\varepsilon }\left(
\boldsymbol{a}\right) :f\left( \boldsymbol{a}\right) \geq f\left(
\boldsymbol{x}\right) \quad \cdots (1)
\end{equation}を採用した場合に何が起こるかを確認します。問題としている点\(\boldsymbol{a}\)が関数の定義域の境界点である場合には、そもそも点\(\boldsymbol{a}\)を中心とする開近傍\(N_{\varepsilon }\left( \boldsymbol{a}\right) \)のすべての点において\(f\)が定義されていることにならないため、\(\left( 1\right) \)は意味をなさなくなってします。一方、点\(\boldsymbol{a}\in X\)が関数\(f\)の極大点であることの定義として、\begin{equation*}\exists \varepsilon >0,\ \forall \boldsymbol{x}\in N_{\varepsilon }\left(
\boldsymbol{a}\right) \cap X:f\left( \boldsymbol{a}\right) \geq f\left(
\boldsymbol{x}\right)
\end{equation*}を採用すれば、関数\(f\)が\(N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X\)上のすべての点において定義されていることが保証されるため、点\(\boldsymbol{a}\)が局所的な最大点であることを検討できます。

例（関数の極大点と極大値）

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =-x^{2}-y^{2}
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

点\(\left( 0,0\right) \)はこの関数\(f\)の極大点です。実際、\begin{equation*}f\left( 0,0\right) =-0^{2}-0^{2}=0
\end{equation*}である一方で、ゼロベクトルに限りなく近い点\(\left( h_{1},h_{2}\right) \in \mathbb{R} ^{2}\backslash \left\{ \left( 0,0\right) \right\} \)を任意に選んだとき、\begin{equation*}f\left( h_{1},h_{2}\right) =-h_{1}^{2}-h_{2}^{2}<0
\end{equation*}となるため、\begin{equation*}
f\left( 0,0\right) \geq f\left( h_{1},h_{2}\right)
\end{equation*}が成り立つからです。

関数の極大点は存在するとは限りません。以下の例より明らかです。

例（関数の極大点と極大値）

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x+y
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

この関数\(f\)は極大点を持ちません。実際、点\(\left( a,b\right) \in \mathbb{R} ^{2}\)を任意に選んだとき、\begin{equation*}f\left( a,b\right) =a+b
\end{equation*}である一方で、ゼロベクトルに限りなく近い\(\left( h_{1},h_{2}\right) \in \mathbb{R} _{+}^{2}\backslash \left\{ \left( 0,0\right) \right\} \)を任意に選んだとき、\begin{equation*}f\left( a+h_{1},b+h_{2}\right) =a+b+h_{1}+h_{2}>0
\end{equation*}となるため、\begin{equation*}
f\left( a+h_{1},b+h_{2}\right) >f\left( a,b\right)
\end{equation*}が成り立つからです。

関数の最大点は極大点でもあります。

先の命題の逆は成立しません。つまり、関数の極大点は最大点であるとは限りません。また、関数の最大点は存在しないものの、極大点は存在するような状況は起こり得ます。以下の例より明らかです。

例（最大点が存在せず極大点が存在する場合）

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =-x^{3}-y^{3}+3xy
\end{equation*}を定めるものとします。この関数\(f\)のグラフが下図で与えられています。

この関数\(f\)は定義域\(\mathbb{R} ^{2}\)上で最大点を持ちません。\(x\)と\(y\)を小さくすれば\(f\left( x,y\right) \)はいくらでも大きくなるからです。一方、点\(\left( 1,1\right) \)は\(f\)の極大点です（演習問題）。

多変数関数の極小点と極小値

多変数関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)が与えられたとき、\(f\left( \boldsymbol{x}\right) \)の値を最小化するような点\(\boldsymbol{a}\)が\(f\)の定義域\(X\)上に存在する場合には、すなわち、\begin{equation*}\exists \boldsymbol{a}\in X,\ \forall \boldsymbol{x}\in X:f\left(
\boldsymbol{a}\right) \leq f\left( \boldsymbol{x}\right)
\end{equation*}が成り立つ場合には、このような点\(\boldsymbol{a}\)を\(f\)の最小点と呼び、\(f\)が最小点\(\boldsymbol{a}\)に対して定める値\(f\left( \boldsymbol{a}\right) \)を\(f\)の最小値と呼びます。つまり、関数\(f\)の最小点とは、変数\(\boldsymbol{x}\)が定義域\(X\)上のすべての値を取り得ることを認めた場合に、\(f\left( \boldsymbol{x}\right) \)の値を最小化するような\(X\)上の点\(\boldsymbol{x}\)に相当します。一方、変数\(\boldsymbol{x}\)がとり得る値を\(X\)の部分集合に制限した上で、その限定された範囲の中で\(f\left( \boldsymbol{x}\right) \)の値を最小化するような最大点\(\boldsymbol{x}\)を考えることもできます。

関数\(f\)の定義域上の点\(\boldsymbol{a}\in X\)が与えられたとき、変数\(\boldsymbol{x}\)がとり得る値の範囲を点\(\boldsymbol{a}\)の周辺に限定し、その範囲内において\(f\left( \boldsymbol{x}\right) \)の値が点\(\boldsymbol{a}\)のもとで最小化されるのであれば、点\(\boldsymbol{a}\)は\(f\)の局所的な最小点であると言えます。そのような場合、点\(\boldsymbol{a}\)は関数\(f\)の極小点（minimal point）であると言います。厳密には以下の通りです。

関数\(f:\mathbb{R} ^{n}\supset X\rightarrow \mathbb{R} \)および定義域上の点\(\boldsymbol{a}\in X\)が与えられたとき、点\(\boldsymbol{a}\)が中心で半径が\(\varepsilon >0\)であるような近傍\begin{equation*}N_{\varepsilon }\left( \boldsymbol{a}\right) =\left\{ \boldsymbol{x}\in \mathbb{R} ^{n}\ |\ \left\Vert \boldsymbol{x}-\boldsymbol{a}\right\Vert <\varepsilon
\right\}
\end{equation*}をとります。さらに、これと関数\(f\)の定義域\(X\)の共通部分\begin{equation*}N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X
\end{equation*}をとります（理由は後述します）。\(\boldsymbol{a}\in X\)かつ\(\boldsymbol{a}\in N_{\varepsilon }\left( \boldsymbol{a}\right) \)および共通部分の定義より\(\boldsymbol{a}\in N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X\)であることに注意してください。十分小さい半径\(\varepsilon \)を選んだ上で、変数\(\boldsymbol{x}\)がとり得る範囲を\(N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X\)に制限したとき、\(f\left( \boldsymbol{x}\right) \)の値が\(\boldsymbol{a}\)のもとで最小化されるのであれば、すなわち、\begin{equation*}\exists \varepsilon >0,\ \forall \boldsymbol{x}\in N_{\varepsilon }\left(
\boldsymbol{a}\right) \cap X:f\left( \boldsymbol{a}\right) \leq f\left(
\boldsymbol{x}\right)
\end{equation*}が成り立つ場合には、このような点\(\boldsymbol{a}\)を\(f\)の極小点（minimal point）や局所的最小点（local minimum point）もしくは相対的最小点（relative minimum point）などと呼びます。また、\(f\)の極小点\(\boldsymbol{a}\)が存在する場合、\(f\)が点\(\boldsymbol{a}\)に対して定める値\(f\left( \boldsymbol{a}\right) \)を\(f\)の極小値（minimal value）や局所的最小値（local minimum value）もしくは相対的最小値（relative minimum value）などと呼びます。

関数の極小点の定義において、変数\(\boldsymbol{x}\)がとり得る値の範囲として点の近傍\(N_{\varepsilon}\left( \boldsymbol{a}\right) \)を採用するのではなく、それと関数\(f\)の定義域\(X\)の共通部分である\begin{equation*}N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X
\end{equation*}を採用するのはなぜでしょうか。その理由を理解するために、点\(\boldsymbol{a}\in X\)が関数\(f\)の極小点であることの定義として、\begin{equation}\exists \varepsilon >0,\ \forall \boldsymbol{x}\in N_{\varepsilon }\left(
\boldsymbol{a}\right) :f\left( \boldsymbol{a}\right) \leq f\left(
\boldsymbol{x}\right) \quad \cdots (1)
\end{equation}を採用した場合に何が起こるかを確認します。問題としている点\(\boldsymbol{a}\)が関数の定義域の境界点である場合には、そもそも点\(\boldsymbol{a}\)を中心とする開近傍\(N_{\varepsilon }\left( \boldsymbol{a}\right) \)のすべての点において\(f\)が定義されていることにならないため、\(\left( 1\right) \)は意味をなさなくなってします。一方、点\(\boldsymbol{a}\in X\)が関数\(f\)の極大点であることの定義として、\begin{equation*}\exists \varepsilon >0,\ \forall \boldsymbol{x}\in N_{\varepsilon }\left(
\boldsymbol{a}\right) \cap X:f\left( \boldsymbol{a}\right) \leq f\left(
\boldsymbol{x}\right)
\end{equation*}を採用すれば、関数\(f\)が\(N_{\varepsilon }\left( \boldsymbol{a}\right) \cap X\)上のすべての点において定義されていることが保証されるため、点\(\boldsymbol{a}\)が局所的な最大点であることを検討できます。

例（関数の極小点と極小値）

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x^{2}+y^{2}
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

点\(\left( 0,0\right) \)はこの関数\(f\)の極小点です。実際、\begin{equation*}f\left( 0,0\right) =0^{2}+0^{2}=0
\end{equation*}である一方で、ゼロベクトルに限りなく近い点\(\left( h_{1},h_{2}\right) \in \mathbb{R} ^{2}\backslash \left\{ \left( 0,0\right) \right\} \)を任意に選んだとき、\begin{equation*}f\left( h_{1},h_{2}\right) =h_{1}^{2}+h_{2}^{2}>0
\end{equation*}となるため、\begin{equation*}
f\left( 0,0\right) \leq f\left( h_{1},h_{2}\right)
\end{equation*}が成り立つからです。

関数の極小点は存在するとは限りません。以下の例より明らかです。

例（関数の極小点と極小値）

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x+y
\end{equation*}を定めるものとします。\(f\)のグラフは以下の通りです。

この関数\(f\)は極小点を持ちません。実際、点\(\left( a,b\right) \in \mathbb{R} ^{2}\)を任意に選んだとき、\begin{equation*}f\left( a,b\right) =a+b
\end{equation*}である一方で、ゼロベクトルに限りなく近い\(\left( h_{1},h_{2}\right) \in \mathbb{R} _{-}^{2}\backslash \left\{ \left( 0,0\right) \right\} \)を任意に選んだとき、\begin{equation*}f\left( a+h_{1},b+h_{2}\right) =a+b+h_{1}+h_{2}<0
\end{equation*}となるため、\begin{equation*}
f\left( a+h_{1},b+h_{2}\right) <f\left( a,b\right)
\end{equation*}が成り立つからです。

関数の最小点は極小点でもあります。

先の命題の逆は成立しません。つまり、関数の極小点は最小点であるとは限りません。また、関数の最小点は存在しないものの、極小点は存在するような状況は起こり得ます。以下の例より明らかです。

例（最小点が存在せず極小点が存在する場合）

関数\(f:\mathbb{R} ^{2}\rightarrow \mathbb{R} \)はそれぞれの\(\left( x,y\right) \in \mathbb{R} ^{2}\)に対して、\begin{equation*}f\left( x,y\right) =x^{3}+y^{3}-3xy
\end{equation*}を定めるものとします。この関数\(f\)のグラフが下図で与えられています。

この関数\(f\)は定義域\(\mathbb{R} ^{2}\)上で最小点を持ちません。\(x\)と\(y\)を小さくすれば\(f\left( x,y\right) \)はいくらでも小さくなるからです。一方、点\(\left( 1,1\right) \)は\(f\)の極小点です（演習問題）。

関数が極大値や極小値をとるための条件

関数が最大点や最小点を持たない場合においても、極大点や極小点が存在する状況は起こり得ることが明らかになりました。同時に、関数が最大点や最小点を持つ場合、それは必ず極大点や極小点であることが保証されます。したがって、関数の最大点や最小点を探す際には、その候補としてまずは極大点や極小点を特定するアプローチが有効です。微分可能な関数を対象とした場合、定義域の点が極大点や極小点であるための条件が知られています。以降ではそのような条件について学びます。