2019年1月29日NeurIPS2018読み会@PFNに登壇してきましたこんにちはロードローラーです。先日は京都のNeurIPS読み会で登壇してきましたが、今回はPFNさん開催のNeurIPS読み会に登壇してきました。色々な論文を紹介できればよかったのですがスライド作成の手間もあり、資料は使いまわしの発表となっています。OKAMOTO発表後の質疑応答では英語で質問を頂いて予想外の事態にたじたじに、、、司会者の比戸さんが翻訳フォローをしてくださりなんとかご回答できました。2019なお、この論文はPytorchによる実装が著者によって公開されていますのでご参照ください。properties.」と述べられています。ユークリッド空間のスカラー倍は、双曲空間では接空間上の指数処理や対数処理で表現できるなど、なんというか双曲空間への強い愛を感じる研究内容でした。2019背景知識については、白川さんのブログでまとめられています。NeurIPS2018」の資料を公開しました。採択論文、をまとめ紹介しています。2019GANの生成画像を高品質にするための研究はNeurIPS2017では多かったが、NeurIPS2018ではほとんどなくなり、構造やコンテンツなど潜在的に独立な表現をできるようにする研究が増えた。2019会場からは『disentangleの定義は?』との質問がでました。非常に難しく本質を突いた質問だと感じました。(おそらくタスクで解きたい事象に起因する特徴量と、それ以外に起因する特徴量を陽に分解することですが、数学的な定義は難しいなぁと。前者はタスクに有効で、後者ではタスクを解くのが難しいというのを数学的にどう定義するかがポイントになりそうですね。)単語分散表現の最適次元数について単語分散表現の最適次元を理論的に求めましたよという論文。最適次元があったんだー、というだけで感動。2019大学同級生の活躍を見れて嬉しいと同時に、発表内容も非常に面白かったです。TSDMVの大元がNeurIPS2018読み会にて発表した資料を公開しました。TS"というアルゴリズムで解決しました。2019流行のBoosting手法が抱える課題を丁寧に説明して、この手法でどう解決したのかを紹介してくださいました。GNN聞いていただいた皆様ありがとうございました。networkに関する発表資料はこちらになります。Disentangler岡本さんによる発表がとてもわかりやすく、内容も興味深かったので後で読みます。opened.内容としては「figを開きすぎててメモリ亡くなるぞ!」というもの。必要ないものは都度閉じてやればよい。だいたい「plt.close()」で片づけることが多いが、私のお勧めは下記の対策。'figure.png')plt.close('all')このほうが確実。Functionが高次のとき、SourceとTargetの特徴量分布が互いに素になりやすいため、ドメイン不変というアプローチは有効でない。・Sourceドメインでの性能を向上させるほどTargetドメインでの性能が劣化する。・SourceドメインとTargetドメインの共用識別器を、Targetドメインの専用識別器に仕立て上げる手法”DIRT-T”を提案。・特徴量空間におけるクラスタの存在を仮定して、クラスタ同士の重なりを最小化するよう条件付き情報量最小化のLossを設計。・識別器がリプシッツ連続でないと、上述のLossの効果がイマイチであることが知られているため、VATによりプシッツ連続性を確保。Adaptationにこれらを組み合わせる。・VADAによって構築したSourceドメインとTargetドメインの共通識別器をベースに、Target専用識別器へと改善していく。・Targetドメインのみで(※先ほどはSourceドメインとTargetドメインの両方)、条件付き情報量最小化とVATにより識別器を学習。nn.CrossEntropyLoss()(digit_pred,digit_label)4.誤差逆伝播loss.backward()損失に関して計算グラフを微分して各変数のgradに勾配を入れる。この時点ではパラメータは更新されていない。パラメータはprint(x.grad)で確認可能。注意点は計算グラフは揮発性のため、backword()を実行すると消えてしまう。lossを複数回に分けて計算したいならばbackward(retain_variables=True)とすること。5.パラメータ更新optimizer.step()補足1.パラメータ更新後はoptimizer.zero_grad()で勾配初期化しておく。しないとloss.backward()で計算された勾配が蓄積してしまう。呼び出すタイミングはloss.backward()の直前でもよい。補足2.マルチタスク次のようにすると効率的な計算が可能。GANのような順番に学習することに意味があるタスクには不適切なので要注意。当日は社会人と学生を含めた約90名の方々が参加してくださり大盛況となりました。関西からも業界を盛り上げようというコンセプトもあり、なかなか普段は関東の先生方と交流が持ちにくい学生様のために、東京大学で活躍されている(いた)先生方の招待講演が設けられました。コンピューティング事例のご紹介https://connpass.com/event/110992/Part1「理論編」Part1は東京大学で「理論系に関して知らないことはない!」と紹介された二反田先生の講演、さらに論文紹介1件という構成です。最適化手法の最新研究であったりResNetの理論的な解釈であったり、理学部学生にとっては天国のような数式だらけの講演でした。普段扱っている内容でもない限りはついていくのはかなり高難度だったかもしれません。はじめとして応用系の研究紹介になります。視覚と対話の融合というタイトルにある通り、画像へのキャプションであったり、画像に関するQ&A対話をする知能であったり、技術の発展の歴史を追いながら最新研究が紹介されました。(いったいこの人は年間何本論文を読んでいらっしゃるんだ?というくらい様々な内容をご紹介いただきました。)私の登壇もこのパートです。懇親会では幸いにも「おもしろかったです!」「わかりやすかったです!」とのご好評をいただきました。セルフアーカイブで発表動画もYoutubeにアップしています。Paperを受賞した論文『』が紹介されています。JPまた、それだけでなくこの論文の発展手法をICLR2019から紹介いただきました。技術が進むのは本当にあっという間ですね。最後はNVIDIA橘様からのご講演。実はまだ売り上げ的な主力事業はゲーミング用GPUが中心であることや、皆にGPUを使ってもらうために自前でAI技術を研究開発している話などをご紹介いただきました。私個人の意見としては最後にご紹介いただいた現場でAI推論できるようにするエッジ端末の発展に期待しております。さいごに今回は主催者側の意図としても関西からも業界を盛り上げたいというものがあり、かなり同じ志を持つ人が集まったように思いました。現在は情報と人が集まる東京が盛り上がっていますが、優秀な学生様がいっぱいいて、ノーベル賞も多数輩出してきた京都という街からもどんどん業界を盛り上げていきたいですね。2.5倍(*)は工学部で最高倍率さぁ、次は気になる2019年度の倍率を予想してみます。今年もおそらく横ばいになると予想されますが、AIブームが過ぎた後を見据えて、京都大学の一部では既に次なる一手を探そうとする動きもあるようです。AIをやりたい若手が他へ流れる可能性もあり、AI以外の次世代を求める若手が新たにやってくる可能性もあり、倍率推移はほぼ横ばいというのが私の予想です。今年はどうなるか、見物ですね。ように計算処理を進めていってLOSS計算したあとにbackword()を実行するとxの算出結果がクリアされてしまう。これは悪意があるわけではなくメモリ節約するための仕様。ときによく発生するのだが、後半部分でLayerが分岐してOutputが2つ以上になったとき、1つ目のタスクでLOSS算出してbackword()、そして2つ目のタスクでLOSS算出してbackword()しようとするとxの算出結果がクリアされているのでエラーとなる。対策は「まだ学習に用いるので計算結果をクリアしないでね」という目印としてloss.backword(retain_graph=True)とすること。京都の某メーカーにて機械学習・IoT・ビッグデータを扱う。