Learning)」のモデリングとアルゴリズム設計では、問題志向型の等価機能主義的な方法が有用となる。アルゴリズムは何らかの問題設定を前提とした問題解決策に他ならない。機械学習の概念実証や研究開発では、問題が解決策をもたらすと同時に、解決策が問題を派生させるのが常である。Äquivalenten)」を用意しなければならない。機能的に等価な問題解決策は相互に代替可能である。それらの問題解決策は、同一の問題設定を前提とした上で、等しく有用なアルゴリズムとして観察される。機能的に等価な問題解決策の中から特定の問題解決策だけが選択されるのは、基準となる別の区別が導入されることで、いずれか一方が採用されるべきであるという意思決定が下された場合だ。上述した問題設定との関連で言えば、ここでいう基準とは、精度(Accuracy)や計算コストに他ならない。計算複合性の区別が導入される時、観察者はより低い計算コストで済ませられると期待できる問題解決策を優遇するようになる。当の問題設定を踏襲した上で、機能的に等価な別のアルゴリズムで代替することが如何にして可能になるのかを記述していくのである。その際、定式化という名目上、数学的な形式が導入される。数式は精度や計算コスト削減に対する期待を構造化する。この期待が期待外れに終わるか、その通りに成就するかは、専ら実装されたアルゴリズムの実行によって区別される。RecallやPrecision、F値などのようなモデル精度の指標や、またCPU/GPU負荷やメモリ負荷などのような指標やTATやレスポンスタイムなどのような実行結果は、数学的に構造化された期待との差異を定量的に観察することを可能にする。この差異が情報としてフィードバックされることで、アルゴリズムとモデルの設計者は、数学的な形式の再導入によって、更なる改善案を認知的に期待できるようになる。したがって、数学的な形式の導入は、アルゴリズムーーとりわけまだ誰も知らない新しいアルゴリズムーーを「学習」する上で有用となる。逆に、数学的な形式を放棄した上での設計は、ただ既存の専門家たちが用意したブラックボックスを規範的に期待するしかない。それは「暗がりに鬼を繋ぐが如く」ラッピングされた「機械学習ライブラリ」を盲目的に確信する程度の創意工夫に留まる。した観察者にできるのは、精々のところ、パラメタチューニングと題されたブラックボックス・テストだけである。この等価機能主義的な方法については、とりわけ「コンサル業界」の者たちならば馴染み深いはずである。「猫の分類問題を前提に設計されたCNNのモデル」と「顧客の再訪問条件の特定のために設計されたロジスティック回帰モデル」をわざわざ「比較」したプレゼンテーションを敢行するコンサルタントは、恐らく一人もいないだろう。アルゴリズムの機能的な「比較」が可能になるのは、あくまでも同一の問題設定を前提とした場合に限られるためである。この機能的に等価な複数のアルゴリズムを定量的に比較しようとする姿勢は、「ディープラーニングは、原理的には単純な最小二乗法にすぎない」と断じてしまうビギナーの姿勢を否定する。cost)」は、機能的に記述されなければならない。ように、誤差の意味論は機能的に変異し得るのである。機械学習の理論は、こうした精度評価を「過学習(Overfitting)」の概念で記述してきた。この問題設定は消極的で、「利」を生まない。いう言葉は知っていても実際には何もできないビギナーは、後を絶たないようだ。アルゴリズムとモデルの設計は、この程度で許されるほど甘くはない。上述した問題志向型の等価機能主義は、積極的かつ冷徹である。そこには、有用な機能ならば採用し、無用な機能ならば棄却するという、「意思決定」が介在する。何度も述べているように、複数のアルゴリズムが「機能的に等価」であるというのは、特定の問題設定を前提とした上で、その問題の解決に際して同様に機能していることを意味している。選択肢Aと選択肢Bが機能的に等価となるのは、特定の問題Xの解決に、双方とも有用で役立ちメリットを発揮している場合のみだ。したがって、機械学習のモデリングやアルゴリズム設計で重要となるのは、「何のアルゴリズムか」というWasを問うことではない。アルゴリズムの名前を連想ゲームのように紹介できる能力や、恣意的にパラメタチューニングした結果を「やってみた」とアピールするYoutuber的な能力は、ここでは何の役にも立たない。その問題解決策としてのアルゴリズムが「如何にして可能になるのか」というWieを問うことこそが重要となる。この問いの前提となるのは、分類問題や回帰問題などのような、問題設定に他ならない。言い換えれば、問題となるのはアルゴリズムではない。以下の各記事では、やはりそれぞれが特定の問題設定を前提とした記述となっている。Learning)」の枠組みから再記述していく。これにより、各種の深層強化学習アルゴリズムと他の統計力学的なアルゴリズムの機能的等価性を明らかとする。Approximator)」の機能として記述していく。コモディティ化され、大衆化している「ディープラーニング」の残滓に囚われない発見探索を可能にするには、問題志向型の等価機能分析的なアプローチが最良の方法となるであろう。それは、一定の問題設定を前提とした上で、複数の機能的に等価な問題解決策を比較していく方法である。以下では、絶えず問題設定と問題解決策を区別していくことによって、概念の歴史的意味論を観察し、それを数式として記述していくことになる。この問題設定と問題解決策の区別の導入は、当初ある問題設定の枠組みで記述されていたはずのモデルやアルゴリズムが、いつの間にか他の派生的な問題設定の枠組みでも機能することを明らかとするであろう。機能的拡張性を観察する取り組みとなる。熱力学の歴史的意味論が記述されるようになってからである。この時代はトマス・ベイズの後史である。ベイズの時代ではまだ、ニュートン力学が規定するような、決定論的な世界観が支配的であった。ベイズの確率論は、決定論的な世界に対する分析方法として機能していたのである。ベイズの確率論は、世界を学習する方法を解説した叙述となっている。証拠を蒐集すればするほど、真理に近付いていくという、推論を介した世界の学習方法こそが、ベイズの確率論の真髄なのである。続きを読むバンディットアルゴリズムの機能的拡張としての強化学習アルゴリズム単純に情報を探索し続けていくだけでは、いずれリソースの限界に直面するであろう。限られたリソースの中で最善を尽くすためには、既知の情報を活用しながら未知の情報を探索していく必要がある。Problem)」との関連から、「探索(explore)」と「活用(exploit)」の区別を導入しなければならない。情報探索による問題解決や目的達成を促進させるには、「探索」と「活用」の区別を導入し続けるだけではなく、その情報探索の舞台となる環境から受容した刺激から学習するようなフィードバック・ループを設計しておかなければならない。この学習するシステムと外部環境の区別を導入する上で、強化学習問題の枠組みが有用となる。Q-networks(DQN)だ。強化学習アルゴリズムが深層学習のようなアルゴリズムとの結合を要求するのは、状態あるいは状態対行動の組み合わせが大量にあり得る場合のメモリやデータ量の面で限界に直面してしまうためである。この場合の深層学習は、強化学習アルゴリズムで状態や状態対行動の組み合わせの「複合性の縮減」が如何にして可能になるのかという問題設定を前提とした問題解決策として導入されているのである。これは、言い換えれば「一般化(generalization)」の問題として設定できる。状態や状態対行動の組み合わせの観測データを一般化することで、より広汎な状態や状態対行動の組み合わせに対する近似を構成していくことが求められているのだ。approximation)」であろう。それは強化学習問題の枠組みにおける価値関数をはじめとした目的関数からサンプルを抽出して、そこから関数全体を近似するように一般化を実行していく。Network)」である。RBM)」を取り上げる。しての深層ボルツマンマシン深層ボルツマンマシンの事前学習以降は、得られた初期値を前提として、深層ボルツマンマシン全体の最尤推定法を近似的に計算していく。ここでも計算コストや組み合わせ爆発の問題が派生するために、ギブスサンプラーをはじめとした近似計算方法を利用していく。approximation)」の方が積極的に活用される。深層ボルツマンマシンには隠れ層同士の相互リンクが形成される。そのため、制限ボルツマンマシンほどには容易に条件付き分布を計算することができない。平均場近似はこの計算の負担軽減として機能する。今では「機械学習ライブラリ」も十分普及している。誰であれ、手を動かしているうちに、ある程度の「精度」を出すことができるであろう。GPUやCythonに注意を傾けておけば、アルゴリズムそのものの再設計の必要性から目を逸らすこともできる。art)」としての立場を担保し、コモディティ化の加速化に貢献していたとも言える。2017年と2018年に提出されたMobileNetV1/V2に関する二つの論文では、上記の先行研究の多くのアプローチが、結局のところ「ネットワークの複合化」の一言に尽きると一蹴されている。MobileNetの設計思想は、多くの先行研究とは異なって、如何に単純な設計で済ませるのかを重視している。MobileNetは、モバイルアプリケーションなどのように制約された環境でも耐久して機能することに特化したニューラルネットワークとして設計されている。このアーキテクチャは、同一の精度に到達するまでに必要となる作動数やメモリの削減を可能にする。深層学習のニューラルネットワーク最適化問題は、コスト関数J(θ)を大幅に減少させるニューラルネットワークのパラメタθを発見する最適化問題の一種である。この最適化の問題設定を理解するには、機械学習における最適化問題と一般的な最適化問題の差異を理解しなければならない。機械学習の最適化アルゴリズムは、「学習(learning)」の概念との関連から、他の最適化アルゴリズムから区別される。ニューラルネットワーク最適化問題における問題解決策となるのは、一般的な真の最小値を探索するアルゴリズムではない。この差異を前提とするなら、ニューラルネットワークの最適化アルゴリズムは、最適化と汎化を両立させるべく設計されていなければならない。機械学習の主導的な参照問題の一つは、訓練データだけではなく、新しい観測データポイントの入力に対しても性能を発揮するアルゴリズムの設計が如何にして可能になるのかである。機械学習の多くのアルゴリズムは、訓練誤差が増加する可能性を代償として、テスト誤差が減少することを目指して設計される。した方法は、一般的に「正則化(Regularization)」と呼ばれている。正則化は、モデルとアルゴリズムの設計者が試みる「投資」に他ならない。言うのも正則化とは、訓練誤差の増加というリスクを受容することによって、テスト誤差の減少というリターンを得る試みであるためだ。この意味で正則化は、コモディティ化している機械学習ライブラリのエンドユーザーとは無縁の設計である。それはブラックボックスの内部で実行されている無理解で無視しても無害なコンポーネントなのではない。正則化とは、リスクある不確実な状況下の設計者が「期待」や「効用」や「投資対効果」などのような指標との兼ね合いから下す「意思決定」以外の何物でもない。「事前学習」という概念は、一種の「フレームワーク」として形式化されている。貪欲法に基づいた教師なし事前学習は機能不全に陥る場合や副作用を招く場合が多分に及ぶことが周知されている。learning)」の枠組みでは、「層ごとの貪欲な教師なし事前学習」とは全く異なる設計によって、教師なし事前学習と教師あり学習の構造的な結合が可能になっている。Networks)」に基づいた半教師あり学習では、自己符号化器や生成モデルを教師ありモデルと同時に学習することを可能にしている。教師なし事前学習と教師あり学習を段階として区別するのではなく、双方のアルゴリズムにおける学習を同時的に進行していくのである。伝統的に統計力学の歴史的意味論の主題として参照されてきた混合問題は、マルコフ連鎖モンテカルロ法を巧妙に回避することを可能にする敵対的生成ネットワークが提唱されて以来、その問題解決策が主にエネルギーベースモデルとしての自己符号化器との関連から再考されている。EBGAN)」は、敵対的生成ネットワークの識別器にエネルギーベースモデルとしての自己符号化器を導入する構成になっている。Auto-Encoder)、ラダーネットワークなどのような様々な自己符号化器の機能的等価物を割り当てることができる。この機能的等価物の探索は、エネルギーベースモデルとしての自己符号化器との関連から指摘されるように、当の混合問題をリアプノフ安定最適化問題として再設定することを可能にする。language)」となる。エージェントが情報から学習するには、言語の意味を観察できなければならない。representation)」の問題として参照されている。この意味表現問題ではとりわけ単語水準での表現から考察が始まる。それは、単語の意味を正しく表現できれば、その組み合わせによって、句や文、そして文書の意味表現を階層的に構成することができるようになると想定されているためだ。自然言語処理の領域では、教師なし事前学習が表現学習として機能することが期待されている。通常、単語のトークンの埋め込みにおいては、one-hotのベクトルが採用される。各ベクトルの距離は全て同一となるために、単語表現にone-hotのベクトルを利用する利点は少ない。事前学習された単語埋め込みは、単語間の類似度を単語間の距離として符号化することを可能にする。Nショット学習、ドメイン適応、そして概念漂流をはじめとする転移学習は、<差異の統一>や自己言及のパラドックスを孕んでいる。このパラドックスを脱パラドックス化するには、半教師あり学習の形式が有用になる。続きを読む自然言語処理のパラドックス、パラドックスの自然言語処理もともと自然言語を「計算(compute)」するという工学的な発想は、バートランド・ラッセルやルートヴィヒ・ヴィトゲンシュタインの影響下にある1900年代の論理学を利用した数学的な推論の問題に端を発している。形式論理学や数理論理学は、言語を文字列の集合として設定する理論や推論規則の理論を記述することで、既に取り上げた「構成性の原理」をはじめとした言語の関数表現を可能にした。これらの論理学は、所与の概念の「同一性(identity)」を前提とした理論は記述できても、差異理論的なアプローチに関しては不十分な取り組みで留まっている。それ故、これらの論理学の理論に素朴に従事してきた自然言語処理は、「矛盾(Contradiction)」や「パラドックス(Paradox)」のような差異の概念を分析する上では役に立たない。