「AIを使って何か提案してよ!」そんな声を聴くたびに嘆かわしく思っていた私ですが、そもそも何故近年AIブームが過熱しているのか?今までと何が変わったのか?正しい理解をしている人が何人いるでしょうか?という気持ちから、簡単にまとめてみました。ロードローラーさぁ、勉強したところでAIビジネスを始めましょう。translationによりドメイン間の転送を学習する。assumption)。異なるドメイン間の対応する画像は、同じ潜在変数Zから生成されるとした。工夫1~重み共有~ドメイン変換したときに、対応したペア画像が生成できるよう重み共有を部分的に行う。(E1とE2、G1とG2における一部のLayerが対象)。重みを共有した部分が物体の構造を理解・再現する(hに相当)重み共有されていない部分がドメイン固有の特徴を再現する(Lに相当)工夫2~Loss関数の設計~潜在空間Zの過程からcycle-consistency-assumptionという仮定を導く。項Lcc2)2つに分けることで「ドメイン1⇒2への変換だけ得意」などと能力が偏らないようになる。(※なお、VAEとGANは従来のようにLoss関数を設計して学習)所感Loss関数の設計工夫はシビレましたね。潜在空間Zがそれっぽくなるような制約を加えることで結果が出ています。重み共有でドメイン間の事なりによる差分成分を分離できた点も、予想以上に直感通りの挙動を示したという驚きです。コンセプトは「音楽×映像×書道の多次元演奏会」とのことです。書家の福田匠吾さんによるオープニングアクトは会場を一瞬で圧倒し、観客が一歩も動けず物音ひとつ立てられないほどのパフォーマンス。ライブ書道の緊張感を味わいました。http://f-shogo.jp/「音楽は感覚の数学」とはよくいったもので、メインアクトの融解建築は緻密に練られた美しい音楽でした。百聞は一見に如かず、とにかく聴いてみてください。お土産にとCDを買って帰路につきました。ありがとうございました。ConvNets~本日はPruningによるネットワーク高速化の論文を取り上げます。背景としてはディープニューラルネットワークではConv層の計算量やパラメータ数が膨大で、処理時間増大やメモリ圧迫が生じるのでなんとかしたいというところから来ていますね。ディープラーニングを組み込みで動かす場合はこのあたりの話はかなりシビアに効いてきます。Graf・Pruningによる高速化手法。・Conv層をカーネルごと削減する手法を提案。・L1ノルムが最小のカーネルを有効性が低いと仮定して削除する。・既存のBLAS等のライブラリで実現可能。・Residualを出力するConv層を基準に削除次元を選定すると良いとのこと・ランダムにカーネル選定するよりはL1を用いた方がわずかに良かった・Layer別にPruning時の性能低下率と速度向上率を検証。・性能低下を招きやすいLayerや、速度向上しやすいLayerがあることを示した。所感カーネル選定手法はまだまだ議論の余地はありそうですが、ポピュラーな構造のネットワークについて丁寧に検証されている論文でした。directory”となってしまう。found”とならない。(0x00007f3d65a09000)リンクが出来ているのか出来てないのかどっちやねん!これは”/etc/ld.so.cache”がアップデートされていないことが原因らしい。次のコマンドでアップデートとしてやると良い。Researchhttps://arxiv.org/abs/1711.059082017年11月に発表された論文。タイトルから察するにNIPSでNISPという技術を発表してウケを狙ったのかな・・・?(未確認)概要ディープニューラルネットワークの高速化技術に該当。CNNではパラメータが膨大すぎて計算時間がかかることが課題視されており様々な研究がなされている。主な手法は不要なニューロンを削って高速化するPruningと、量子化対応(例えば16bitのところを近似して8bitにする)による計算高速化。こちらの論文はPruningによって高速化を図っており、いかに不要なニューロンを削って、重要なニューロンを残すのか、その選定手法を提案している。手法ディープニューラルネットワークの最後のLayer(識別結果出力の直前)にて各ニューロンの重要度を算出。重要度算出には、このLayerにおける各ニューロンは入力Xを抽象化して得られた特徴量であると解釈して、下記の特徴量選定手法(ICV2015)を適用。比較対象がRandomにPruning対象を選んだ場合や、Pruningのたびにゼロから学習しなおした場合(scratch)なので、もっとそれらしい手法と比較をしてほしかった。なんとなくではなく理論立てて納得感のあるPruning候補選定をした点は希少と感じており、今後このような研究が増えてほしい。Models~DeepMind社から面白い論文が発表されています。Models」で、内容としてはチューニングをきちんとしたLSTMは、近年のstate-of-the-artを上回るというもの。論文サイト:https://arxiv.org/abs/1707.05589(アブスト。LSTMが最もよいと書かれています。)様々な学会であれこれと創意工夫がこなされている中、まさかレベルを上げて物理で殴れば最強と言わんばかりの論文が登場するとは思いませんでした。Network(2016)とNAS(2016)のようです。Vizierを用いたようです。こちらはGoogle社によるブラックボックス最適化のためのサービスです。いわれてもなんのこっちゃですがハイパーパラメータなどをイイ感じに最適化するツールとでも解釈してください。Vizierの信頼性も気になるところですよね。Vizierが対応できなくて性能が出なかったという可能性もありません。Vizierの価値が高いのは間違いないのですが。Vizierの宣伝じゃないかと懐疑的にもなりつつ、このようなシンプルに強力な結果を出す研究は大好きなので楽しく読ませて頂きました。京都の某メーカーにて機械学習・IoT・ビッグデータを扱う。