ベンチマークJavaScriptがお使いのブラウザで無効になっているようです。このサイトをご覧いただくにはJavaScriptを有効にしていただく必要があります。比較するカートカートの中には何もありません。TiなどにはあったGPU間DMA転送機能がなくなったため、複数GPUでの並列学習で性能が出ないと言われています。10GPUで実行してみました(ダウンロードはここから)。テストにはHPCDIY-XCLGPU10R4Sを使いました。on)カッコ内は1GPUに対して何倍になっているかを示しています。1823.75(7.45)VGG-16は並列効率が悪いですが、その他はまあまあ並列の効果が出ている様に見えます。FP16を使っているため、GPU間のデータ転送も比較的少なくなっているからでしょうか。--num_gpusをそれぞれに合わせて変更して実行しています。