制約がないバージョンの「KKT条件」はこれで終わりだ。条件の最初の式のもっとシンプルなのだけ、といった感じでしょうか。局所最適解というわけではないからね。最小の点を探さなければなりませんね。いう制約があるとこれを満たす曲線上でだけ解を探すといった感じです。値がより小さくなることはない」点になっているかといわれると...違いますね。上で一番小さい点です。小さくならないとは限りません。結果的には大丈夫だと思うんですが、あんまりイメージでものをいうのはよくないと思います。値が変わらないということですよね。上にこういう点があったら別途調べることにしよう)。平行でないといけない。直交しないといけないからね。ああ、2つのベクトルの内積がゼロということは、直交するということでしたね。等式制約が1つのバージョンの「KKT条件」はこうなる。問題(P)の局所最適解だから等式制約を満たしているって当然の話だけど、普通これも合わせてかくね。平行であるための必要十分条件ですね。いまは等式制約が1つのみの場合の条件を考えたんですね。条件を目標とするなら、等式制約が複数の場合についても考えた方がよいのではないでしょうか。存在しない」のですよね。たちと同じ超平面内にあるというイメージです。条件の1つ目の条件式と同じ形になりますね!その条件式でいいケースと駄目なケースがあるかな。え?3次元空間内での等式制約付き最適化を考えてみよう。平面上にトーラスを置く。トーラスの外側に向かうほど大きくなる関数とでもしよう。座標が一番小さい点だよね。軸のマイナス方向を向いている。軸のプラス方向を向いている。確かに2つの勾配は平行になっている。文章だとわかりづらいですね...絵でも描いてくださいよ...。等式制約をもう1つ増やそう。ドーナツの上にドーナツを重ねるようにトーラスの上にもう1つトーラスを置こう。制約を満たす領域(よく実行可能領域というね)は曲面から曲線になる。2つのトーラスが接する円周上になるからね。いや、日常でドーナツの上にドーナツを重ねませんよ...。勾配は、トーラス(下側)の勾配とトーラス(上側)の勾配の線形和になるかな?あれ、ならないですね。勾配をつくれません...。トーラスどうしが少しでもめり込んでいたらそうならないんだけどね。「どっちのトーラスの勾配にも垂直な向き」がちゃんと「すべての制約からはみ出さない向き」になるから。トーラスどうしが接していると「どっちのトーラスの勾配にも垂直な向き」が「すべての制約からはみ出さない向き」にならないんだよね。勾配どうしが平行になっちゃってるせいで「どっちのトーラスの勾配にも垂直な向き」じゃ制約の中に閉じ込められないって感じかな。同じ趣旨だったのでこれをご参照ください。制約付き最適化の局所最適解の必要条件を考えるとき、こういうケースは除外しちゃう。Qualification)だね。全ての制約の勾配が線形独立であるとするって仮定。Qualification)を仮定してもいいよ。こっちは全ての制約が線形関数という仮定だね。全ての制約が線形なら「ちょうど局所最適解のところでだけ接する」なんてことにならないからね。qualification;CQ)といわれるよ。同じだけど、それ以外はちょっとよくわかってないや。そもそもこれらの制約想定が不等式制約もある場合のものだけど。考えたかったのは不等式制約の場合です。そちらを考えていきましょう。曲線で囲まれた領域に絞り込むイメージだね。領域の境界上にある場合も、領域の内部にある場合もある。ある不等式制約たちについては領域の境界上だけど、その他の不等式制約たちについては領域の内部って感じになる。なる制約を「有効」な制約ということが多いよ。小さくする向きが存在しない」点といえる。「不等式を満たしながら最適化せよ」という問題ですから、「余裕で満たされる」制約もあれば、「ぎりぎり満たされる」制約もありますね。ある制約が余裕で満たされている場合は、その制約は局所最適解が満たす条件に関わってこないということですね。確かに、局所的にはそんな制約は最初からなかったも同然ですもんね。存在しない」といった感じになるでしょうか?それだとドーナツ重ね問題が発生するんだよね。仮定すればいいですね。それでもいいけど、もっと弱い仮定もあるよ。