-目次1ページポストペタスケールへ向けGPUをどう活用していくのか2ページ種々の制約の中、現実をいかに理想に近づけたのか1ポストペタスケールへ向けGPUをどう活用していくのか2011年2月16日に和光市の理化学研究所(理研)で開催されたHPCシンポジウムにおいて、東京工業大学(東工大)の松岡教授がTSUBAME2.0の設計思想について語った。ポストペタスケールのスケーリングへの本質的な変容」と題する講演を始めた。TSUBAME2.0は東工大が2010年11月から運用を開始したスーパーコンピュータ(スパコン)システムであり、2010年11月のTop500ランキングで第4位と国内のスパコンとしては初めてLinpack性能1PFlopsを超える圧倒的な高性能を達成した。GPUを主体とする計算ノードを使うことで958.35MFlops/Wの高エネルギー効率を達成し、スパコンの性能/電力を競うGreen500では2位(大規模スパコンとしては1位)を獲得したシステムであり全体構成は図2のようになっている。図3のグラフの縦軸は計算密度、横軸はメモリアクセス密度である。計算量は多いが、メモリアクセスは少なくて済むN-body(銀河系の運動シミュレーションなど)や化学系の問題などは左上に位置し、計算量は少ないがメモリアクセスが多いCFD(流体解析)などは右下に位置している。一般的なスカラ型CPUは、どちらもそこそこという設計であり、中央の楕円のような範囲の問題を解くのに適している。GPUは多数の演算器を持ち演算密度の高い問題と、GDDRメモリの高バンド幅を活かした設計でメモリアクセス密度の高い問題にも向く。いうことで図の左上から右下に掛けて破線で描かれたかぎ型の領域の問題を解くのに適している。これはすなわち、効率の良いスパコンの主要素となりうるということである。GDDRで構成されるメモリの容量が少ない、CPUや他のGPUとの通信のオーバヘッドがあり、これがあまろり影響しないようなベクトル並列のプログラム手法の開発やシステムソフトウェアの開発などに技術的な課題があるという。図4は横軸に演算密度とメモリアクセス密度の比(Flops/Byte)を取り、縦軸に実現された実行性能をGFlopsで表示している。Extremeの理論性能の線である。○でプロットされているのが実データであり、理論性能には達していないが、かなり近いところまで行っている。Flops/Byteの小さい(演算の割にメモリアクセスが多い)問題ではCPUの実効性能は理論値よりもかなり下がっている。GPUとCPUの性能比較このグラフの2本の線を比べると、CPUと比較してGPUは、演算リミットとなる高Flops/Byteの問題では10~20倍、メモリリミットとなる低Flops/Byteの問題では、理論値でも5~10倍、CPUの実測データと比べるとさらに高い性能が得られることがわかる。1コアの性能を比較して何10倍というような過大な言い方をする場合があるが、この比較はどちらも1チップで比較している。図5に示すように、Exaスケールを達成するためには、ノード間の通信レイテンシを短くするか、あるいは、レイテンシを隠ぺいする。レイテンシの影響に敏感なアルゴリズムを、そうでないものに切り替えるということが必要という。通信レイテンシを短縮するためには、計算性能の高いFatノードとして、必要な計算ノードの数を減らして距離を短縮する。マルチスレッドでレイテンシを隠ぺいするのが有効である。このため、TSUBAME2.0ではGPUで計算性能の高いFatノードを作り、GPUの超マルチスレッド実行で通信レイテンシを隠ぺいするという設計になっている。Bisectionバンド幅のファットツリー構造のネットワークを使っている。ファットツリーはトーラスなどに比べてスイッチの通過段数が少なく、通信レーテンシを短くすることができる。東京大学のT2K、テキサス大学のRangerの各システムとTSUBAME2.0の諸元の比較を示している。2.0はGPUがFlopsの91%を占め、1.0と比較すると30倍のピーク演算性能となっているが、単に演算性能が高いだけでなく、メモリバンド幅は約40倍となっており、1.0よりもByte/Flopsは改善されている。この0.3Bytre/FlopsはT2KやRangerシステムよりも高い値となっている。GPUを計算ノードとして、それにQDRのInfiniBandを付けるという考えであったという。この理想TSUBMAE2.0が実現できていれば、システムバランスとしては次のような位置づけとなる。※本記事は掲載時点の情報であり、最新のものとは異なる場合があります。Corporation。