GANとDCGANの論文を読んだ。rkgkpyrkスマートフォン用の表示で見るrkgkpyrk^q^2016-10-23GANとDCGANの論文を読んだ。GAN(以下DCGAN)を何となく読んだので、その辺の概要をまとめておく。個人的な備忘録の側面が強いので、あまり色んな人が読むことは想定しておらず、ある程度前提知識を要求している気がするし、参考になるかわからないけれど読む人は参考程度に。もとの論文がいつでも一番正確なはず(GAN、DCGAN)。そもそも既に多くの人が解説記事を書いているし、多くの人にとってこの記事はあまり価値を持たないんじゃないかなと思う*1。GANとDCGANの位置づけ*2GANの目的は与えられた学習データから生成モデルを推定すること。訓練データから学習することによって、確率分布に基づく乱数を吐くが如く、それっぽいデータを吐くようなサンプラーをつくることができるということだろう。尤度を最大化するパラメタ集合)あたりをサンプラーとして使おうみたいなことがまず考えられるのかなと思う。してそのまま使っても表現力が全然たりなくて、『じゃあそこに多層パーセプトロンとかを組み込んじゃえば超複雑な生成モデルが構成できるのでは?』なんて考える人がいてもおかしくはないだろう。変分オートエンコーダあたりはまさにそういう感じで、GAN(とDCGAN)も概ねこういう考え方に沿っているのかなと思う。Adversarialな問題設定ちなみに英語力の無い僕は、Adversarialという単語がわからなかった。反対の、敵対する、対立するなどの意味を持つらしい。目的関数を眺めてみる。訓練データのサンプルと見て良いと思う*4。多層パーセプトロンによって構成される関数。いうことでこれらは多くのパラメータを含み、これらのパラメータを動かしていって上述の目的関数をどうにかしようという話。ブチ込むと学習データらしきもの(たとえば画像)が出てくる。目的関数がわかったので、これを最大化したいのか最小化したいのか、GANのユニークなところはたぶんここで、以下のような問題設定になっている。関しては最小化しようとする。対立していて、これがたぶんAdversarialとつく所以。modelを表していてるとのことで、論文を眺めていたとき、後者はともかく前者の意味がさっぱりわからなかった。Weblioで調べてみるなどしても、『慎重な判断を表現するさま』『微細に区別することができる』などと書いてあって、何を判断したり区別するんだよ感がすごい。お気持ちを考えることにした。何をしたいのか先程の目的関数、何となく既視感があるなと思ったらベルヌーイ分布の対数尤度のように見えてきた。聞くとなんとなくdiscriminativeな感じがしてくる。大きければ、と書ける。してあげれば、目的関数を最大化できそうだ。何か論文にはアクティベーション関数はmaxout使うって書いてあって、そういう値域の縛りは無さそうだった*5。上手に見分ける1次元の特徴量を吐く関数になろうとしているようだ。上手に見分けられるようにすることに対応する。これを最小化しようとする。いう回りくどいことをすることで、過学習を避けてるのかなと思った*6。なるときが大域的最適解であり、またこのときに限ることの証明がついていた*7。交互にミニバッチでSGD的な反復法を行う(論文にはmomentum使ったって書いてあった)。やったって書いてあって意義があまりわからなかった。最大化するのが良いとあった。DCGANにおける改善点DCGANは、要は畳み込みネットワークをGANで構成するとなかなか上手く行かないから、以下のことをすると安定するよ、という話。深いアーキテクチャの場合は全結合の隠れレイヤーを取り除くのアウトプット以外の全てのアクティベーションはReLUにするのアクティベーションはLeakyReLUにするGANが言うこと聞かなくて試行錯誤したんだろうね。*1:そもそも意義のある情報を書いているブログではないはず。*2:僕の中での位置づけで、世間の話はよくわからない。*3:もちろん最尤推定というフレームワーク自体を採用するかどうかも問題。*4:こういう書き方は個人的にあまり見ない気がしたが、僕自身のそういう感覚自体もあまり信用できない。*5:sigmoid来てくれ頼むーって思いながら読んでた。*6:もちろん何の根拠もなくてきとうなことを言っている。*7:SGD等の反復法で何が大域的最適解だよ、みたいなところはある。*8:1との減算対策。08:53GANとDCGANの論文を読んだ。やるため早起きしてみたが初手風邪薬という愚か...2017-07-27最近何かと話題なアレではない。水曜日、折り返し地点だった。今日は朝から最低だった。僕の住...2017-06-12日曜日だった。昨日真面目にやりすぎたためか、完全に無気力だ...2017-05-10まっしんらーにんに想いを馳せながらpptパワポだった。定時あたりまでは2つのdiscriminatorが存在する...2017-03-17間に挟まれるとどうなるか、潰れるんだ。木曜日、体力が限界だった。週5で労働は現実的ではない。続・土曜半日デフォで潰すのやめたい。月別アーカイブはてなブログをはじめよう!cappさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。