現実装では各GPUへのデータセットの分配など、いくつかの下準備が必要で、改善中であるとのこと。分散ディープラーニングのベンチマークを見るには注意が必要。asyncにして分散しまくりにすればスループットならいくらでも上げられるが、学習モデルの劣化が起こる。curveを公開していないベンチマーク結果には注意。Curveを公開しています。curveが128GPUでも上昇している。(多少飽和点が8GPUと比べ落ちているのはバッチを大きくしたことの影響。バッチサイズが減ると、局所解にはまりやすくなる。)パフォーマンスは思ったより出たというか、tensorflowやMXnetはC++なのに対して、そもそもchainerはPythonで書かれていることもあり、他のフレームワークに勝てると思っていなかったのだそう。MPIを使うことによりメモリの転送を高速化していることが効いてるらしく、GPU数が多いほど相対的にchainerが強い。tensorflowが遅い、というか分散学習をオンにすると遅い原因は、tensorflowがパラメータサーバーというアーキテクチャを使っており、パラメーターサーバーとのモデルや重みとのやりとりの通信がボトルネックになっているようだ。現状のtensorflowはパラメーターサーバーが偶数だと遅い、など分散学習ではいろいろな課題を抱えている。感想PFNは前から凄いと思っていたけど、本当にすごい。learningにパフォーマンスで勝つなんてかっこよすぎでしょう。PFNは「この計算をやるにはこう設計すべきなんだ」といわんばかりに、複雑な計算を美しく実装するのが上手いという印象です。chainerも最高にいいので使いましょう。Learningモデルのハイパーパラメータチューニングを自動化してみ...ディープラーニングは各層の種類、活性化層の種類、オプティマ...2016-01-17雑記chainerエンジョイ勢のためのトラブルシューティングchainerで遊んでいてつまづいたところのメモ。»プロフィールid:segafrederverilog書いたり、でもPythonが好きだったり、そんな人の日記。月別アーカイブはてなブログをはじめよう!segafrederさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。