Ensembles(その1)論文読み以下の論文を読みます。キャラクターは架空のものです。解釈の誤りは筆者に帰属します。おかしな点がありましたらご指摘ください。次回:まだ「ニューラルネットの予測の不確かさを如何に定量化するか」という課題を掲げていますね。重みの分布を学ぶベイジアンニューラルネットというのが現状その課題に対するSOTAな解法であるそうですが、一方でそれは従来のニューラルネットをあまりに改造しなければならず、計算コストもあまりに増大するといっています。そこで本論文では代わりにもっと手軽な手法を考案すると。この手法は分類問題においても回帰問題においても近似ベイジアンニューラルネットと同等以上の不確かさの推定性能を記録したようです...アブストラクトの時点では手法の内容についてはまだよくわかりませんね。あと論文のタイトルをみるにモデルをアンサンブルするっぽいね。「不確かな手書き数字」がみえるね。これはさすがに判定させられるニューラルネットさんも怒っていいでしょう...いえ、通常のニューラルネットさんは「これが数字かどうかはとても不確かなのでは?」と文句をいうことができないのですね。rules」「アンサンブル」「敵対的学習」が用いられるらしいことくらいしかわかりません。ニューラルネットって欠陥品なんですか?想像だけど、ニューラルネットが欠陥品というよりは、「人間が1つの正解をアノテートして、それだけを出力させるようモデルを訓練する」というやり方の限界なんだと思う。そのデータの損失として損失の総和を最小化する(つまり正解ラベルのみで1をとる確率分布との交差エントロピーを最小化する)ことを目指すと思うけど、そうして学習したモデルの出力値を「入力したメールがスパムメールである確率」と解釈すべきではないんだよね。いうのは、学習の目的関数が「真の分布は正解ラベルのみで1をとる」と仮定しているのがおそらく実際には正しくない。訓練データの中には、「現にスパムメールではあったけどそれが未知メールだと考えるとスパムメールでない確率もそこそこありそう」みたいなメールもあるかもしれない。確率でスパムメールである」ではないかもしれない。分離境界に近い非スパムメールが本当は胡散臭いものだったかもしれないし。しても「訓練データ中のスパムメールに近いが非スパムメールには近くない」って意味でしかなくて「かなり確実にスパムメールである」ということもないかもしれない。その未知メールに近い訓練データ中のメールはスパムだけど非スパムでもありうるようなものだったかもしれない。スパムメールフィルタにかけるのは「自信過剰」かもしれない。あれば、厳密な正解ラベルを付ければいいのでしょうか。「このメールは60%の確率でスパムメールで、40%の確率で非スパムメールである」というような。この正解分布との交差エントロピーを最小化するようモデルを訓練すればよいはずです。いう正解ラベルを付けられるならいいと思うんだけど、付けられるかな?む...確かにイントロの2段落目に、私たちは通常「正しい不確かさ」を知り得ないとありますね。ニューラルネットの応用場面で用いられる2つの評価指標に目を付けたといっています?1つ目はキャリブレーション...モデルの予測分布と、実際にそれを長期にわたって稼働させたときの頻度分布のずれを測る指標ということでしょうか。もので計測されるようです。参考文献は割に古いんですね。「例えばある訓練済みのネットワークを訓練データからかけ離れたデータでテストしたら、ネットワークの予測は不確かであるべきだ」と...いっていることはわかる気はします。本当にネットワークが知らないはずのデータを入力しても自信満々に予測するなら「そのネットワークは自信過剰なのではないか」となりそうです。誤って自信満々に予測してしまうのを防ぐことや、データの様相が変わったときにも正しい不確かさで予測することは、天気予報や医療診断など多くの実用分野で重要だとありますね。モデルの正確さとキャリブレーションの話は、「予測分布の最頻値による予測の正解率はよいが、予測分布としてはフィットしていない」「予測分布はよくフィットしているが、最頻値による予測の正解率はよくない」ということなのかな。次の段落で、ニューラルネットで不確かさを扱おうとする方法として主流なのはベイズ的なネットワークの重みの分布の更新とありますが、これで先の正解ラベルが厳密でない問題って解決します?厳密な正解ラベルが付けられないという点は解消されないよ。解消されたのは「訓練データの正解ラベルを目指すべき真の分布とする」という考え方だろう。続きをみると、しかし厳密なベイジアンニューラルネットは取り扱うのが大変なので、近似的なアプローチがよく用いられるということなんですね。propagation)、各種の確率的勾配MCMCなどが挙げられています。ベイジアンニューラルネットの予測の不確かさは、その計算手段の制約に起因する近似の度合いや、事前分布に依存すると。それでなんか結局ベイジアンニューラルネットは実装も大変だし計算も遅いのでもっと従来のニューラルネットを改変せずに予測の不確かさを取り扱いたいといっていますね。いう方が予測の不確かさを推定するために評価時にモンテカルロドロップアウト(MC-dropout)する手法を提案したそうです。ある種モデルのアンサンブルととらえられ、本論文でも予測の不確かさを推定するのにモデルのアンサンブルを利用するようですね。averaging(BMA)は似て非なるものだといいたいようですね。考え方としてはソフトに(重み付き平均で)1つのモデルを選択しようとするものだが、アンサンブルはモデルを組み合わせようとするものであると。いうものをよく知らないのですが、色々な異なるモデルを事後確率で重み付けして足し合わせて1つのモデルとするものであるようですが、確かに対してアンサンブルというのは同じモデルを別々に抽出したデータセットで学習して組み合わせるといったものと思うので、違うようにみえます。目の敵にしたのかがよくわかりませんが...。次の段落にこの論文の要点がまとめられているのかな。利用して分布を予測するニューラルネットを学習する手法、および予測の不確かさの推定のよさを評価するタスクを提案するみたいだね。近似ベイジアンニューラルネットと比較検証したのは本論文が初めてだとかそんな感じですかね。ノート1以下の本を読みます。キャラクターは架空のものです。いうものを算出しろといわれることがあると思います。下(第6章:その2)以下の本を読みます。上巻を読むこともあります。10章メモ(疎構造学習による変化検知)以下の赤い本の10章を読みます。キャラクターは適当です。GAN(その...以下の論文を読みます。注目記事はてなブログをはじめよう!cookie-boxさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。