ChainerChainerMNによる機械学習の高速化勉強会に参加しました。Parallelには同期型と非同期型がある。gradientsの問題あり。今年のImageNet優勝チームもSyncを使用している。インストール時の注意点としてNCCLはNVIDIAのサイトからダウンロードが必要、sshはパスワードなしにする必要がある。Troubleshootingを参照。データセットが小さすぎてMNISTではMN化で速くはならない。ImageNetを1024GPUで学習させるに際し、論文に未掲載の工夫としてPureNcclCommunicatorで1024GPUを利用、Chainer3.1から入ったConvolutionを活用、All-Reduceの部分のみFP16化などをしている。吉藤さんさくらのクラウドの時間課金インスタンスでChainerMNを試した話。さくらは時間課金ができ日本語ヘルプが充実している。9が使えないので16にする必要がある。APIありで入れる、aptバージョンを消すのがおすすめ。公称10Gbpsだったが、試した環境では0.04GbpsしかでずChainerMN化で速くならなかった。プロファイル結果を見るとAllReduceに99%処理時間をとられている。現在サポートに問い合わせ中。感想ChainerMN自体の説明はYouTubeにあがっている秋葉さんのプレゼントとほぼ同じ。最近の動向や1024GPUで学習させた論文の話を聞けたのはよかった。論文未掲載の工夫って言うのはどうなんですかね?再現性とは、、とツッコミ受けそうですが。周りはまだまだ手作業。理想を言えばKubernetesのコマンド一つ叩けば環境構築完了としたいところ。ご時世、NEUROMATIONのICOの話を聞くと、全世界のGPUマシンに処理分散させて高速化させたいところ。両者の話ともAllReduceの処理時間が肝となっていて、なかなか厳しそう。5Gの最大通信速度、10Gbpsみたいなので、2020年になればワンチャンある?通信量バカ高くなりそうですが。2018に参加しました。Networksの機...2018-05-04DL4USを受けた感想DL4USを受講し、無事卒業したのでその感想。#dllab言語・音声ナイト(エンジニア向け)に参加しました。NOMATAソフトウェア・エンジニア。スタートアップや上場企業で技術顧問をしています。Entries月別アーカイブはてなブログをはじめよう!hiromichinomataさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。