文献名 “Performance Tuning of a CFD Code on the Earth Simulator”

Presentation on theme: "文献名 “Performance Tuning of a CFD Code on the Earth Simulator”"— Presentation transcript:

1 文献名 “Performance Tuning of a CFD Code on the Earth Simulator”
発表者：近藤祐史 　　　　高橋一樹

2 Intorduction 乱流現象の研究では、Navier-Stokes方程式の直 接数値計算(ＤＮＳ)が行われており、精度の良さ からスペクトル法が好まれて使われる。 しかし、スペクトル法はその変換に多くの時間 がかかるため最適化が必要である。 そこで今回は地球シミュレーター用に最適化し たItakuraらの論文を紹介する

3 地球シミュレーター ベクトル処理部と スカラー処理部がある ベクトルプロセッサと に対応する最適化がポイント！ 計算プロセッサのピーク性能
８Gflops 総プロセッサ数 5120 計算ノードのピーク性能 64Gflops 総計算ノード数 640 計算ノードの主記憶容量 16GB ピーク性能 40Tflops 主記憶容量 10TB

4 スペクトル法 Navier-stokes方程式 境界条件：周期境界 空間微分：フーリエ・スペクトル法 時間微分：４次ルンゲクッタ法
フーリエ変換 フーリエ空間で計算するのが容易でないため実空間で計算！ ここでFFTを用いる 4 4

5 計算量 一ステップあたりの計算量(格子点数N=n3) 時間発展→４次ルンゲクッタ法~O(N) 空間微分→代数演算～O(N)
FFT及び逆FFT~O(NlogN) 計算量のほとんどはFFTであるので その最適化を行うことが必要！

6 並列化(概要) z 3D-FFTは全領域の情報が必要 XFFT 分散メモリで分割すると・・・ 2D-FFTなら個々のノードで独立に計算が可能
y ZFFT 6

7 並列化(概要) z y軸をx軸に転置してy分割からz分割へ (ここで通信をまとめて行う) x y z YFFT
転置したことによってx方向に無通信で1D-FFTが可能。 3D-FFTの完了 7

8 最適化 パディング real*8 u(N+1,N/nd,N) メモリアクセスの衝突の回避 ノード内の並列化(後述)
　ノード内の並列化(後述) 　基底4のFFTの利用(後述)　 　一括転送 　　 Remoto　memory　functionの利用 　　バッファリージョンにコピーすること無しにデータ転送ができる 8

9 最適化 　ノード内の並列化 XFFT それぞれ独立なので並列実行 9

10 最適化 　ノード内の並列化 それぞれ独立なので並列実行 ZFFT 10

11 最適化 　ノード内の並列化 YFFT それぞれ独立なので並列実行 11

12 最適化 基底4のFFT ― ノード内CPU 8GFLOPS メモリ－CPU間の通信 32GB/s
―　基底4のFFTはメモリアクセスの頻度が基底2 のFFTより低いので高いパフォーマンスが期待できる。 2回の倍精度浮動小数点演算に対して 1個の倍精度データの供給しかできない。 メモリアクセスがボトルネック 12

13 計算性能 単精度計算の方が性能が出ている ・通信量が少なくなるからと考え られる
・通信量が少なくなるからと考え 　られる ndを固定してみるとNの増加に伴い 通信時間の割合が減る Nを固定してみるとndの増加に伴い 通信時間の割合が増える。 大きなサイズのデータ転送が良い 性能を引き出す 13

14 計算性能 線形な並列化効果が出ている 並列化効率がよい 14

15 計算方法 今回採用した方法 他の方法よりもパフォーマンスが高い！ 15

16 まとめ 乱流のDNSをフーリエスペクトル法で解く際、 計算時間が最もかかる３D-FFTについて地球シ ミュレーターにおいて最適化を行った。
結果16.4TFLOPSという高速計算が実現した。

17 参考文献 16.4-TFLOPS Direct Numerical Simulation　of turbulence by a Fourier Spectral Method on the Earth Simulator(2002) M.Yokokawa,K,Itakura et al Performance Tuning of a CFD Code on the Earth Simulator(2003) K.Itakura A.Uno,M.Yokokawa,M.Saito,Ishihara.T,Kaneda.Y

18 おしまい

19 補足（フーリエ変換） u 3成分の逆フーリエ変換 ω 3成分の逆フーリエ変換 u×ω　3成分のフーリエ変換 alias errorの除去　×2 4次ルンゲクッタ　　 ×4 1ステップあたり計72回のFFTが必要！ 逆FFT FFT