記事の概要

IBM Power10プロセッサ搭載サーバーで、GCCのOpenMPスレッド並列なジョブを実行する際の環境変数GOMP_CPU_AFFINITYの設定方法について。

想定環境

例としてPower10の物理プロセッサ16コア搭載するサーバーで、SMT=8の環境を想定する。OSはLinuxを想定。
ppc64_cpu --info というコマンドでは以下のように見えている。

$ ppc64_cpu --info
Core   0:    0*    1*    2*    3*    4*    5*    6*    7* 
Core   1:    8*    9*   10*   11*   12*   13*   14*   15* 
Core   2:   16*   17*   18*   19*   20*   21*   22*   23* 
Core   3:   24*   25*   26*   27*   28*   29*   30*   31* 
Core   4:   32*   33*   34*   35*   36*   37*   38*   39* 
Core   5:   40*   41*   42*   43*   44*   45*   46*   47* 
Core   6:   48*   49*   50*   51*   52*   53*   54*   55* 
Core   7:   56*   57*   58*   59*   60*   61*   62*   63* 
Core   8:   64*   65*   66*   67*   68*   69*   70*   71* 
Core   9:   72*   73*   74*   75*   76*   77*   78*   79* 
Core  10:   80*   81*   82*   83*   84*   85*   86*   87* 
Core  11:   88*   89*   90*   91*   92*   93*   94*   95* 
Core  12:   96*   97*   98*   99*  100*  101*  102*  103* 
Core  13:  104*  105*  106*  107*  108*  109*  110*  111* 
Core  14:  112*  113*  114*  115*  116*  117*  118*  119* 
Core  15:  120*  121*  122*  123*  124*  125*  126*  127*

16スレッド並列実行

例えば16スレッド並列で実行する場合、以下のように指定すると（一般に）パフォーマンスが出やすい。

$ export OMP_NUM_THREADS=16
$ export GOMP_CPU_AFFINITY="0,8,16,24,32,40,48,56,64,72,80,88,96,104,112,120"

32スレッド並列実行

例えば32スレッド並列で実行する場合、以下のように指定すると（一般に）パフォーマンスが出やすい。（GOMP_CPU_AFFINITY="0,4,8,12,16,・・・" ではない点に注意。）

$ export OMP_NUM_THREADS=32
$ export GOMP_CPU_AFFINITY="0,1,8,9,16,17,24,25,32,33,40,41,48,49,56,57,64,65,72,73,80,81,88,89,96,97,104,105,112,113,120,121"

あるいは、以下のように指定することもできる。

$ export OMP_NUM_THREADS=32
$ export MAXT=127
$ export GOMP_CPU_AFFINITY="0-$MAXT:8,1-$MAXT:8,2-$MAXT:8,3-$MAXT:8,4-$MAXT:8,5-$MAXT:8,6-$MAXT:8,7-$MAXT:8"

上記の場合、GOMP_CPU_AFFINITYの内容は展開されて、
"0,8,16,24,32,40,48,56,64,72,80,88,96,104,112,120,1,9,17,25,33,41,49,57,65,73,81,89,97,105,113,121,2,10,18,26,34,42,50,58,66,74,82,90,98,106,114,122,3,11,19,27,35,43,51,59,67,75,83,91,99,107,115,123,4,12,20,28,36,44,52,60,68,76,84,92,100,108,116,124,5,13,21,29,37,45,53,61,69,77,85,93,101,109,117,125,6,14,22,30,38,46,54,62,70,78,86,94,102,110,118,126,7,15,23,31,39,47,55,63,71,79,87,95,103,111,119,127"
と同値になる。
前述の32スレッド並列と比べると、割り当ての順番は変わるが、使用する論理プロセッサは同じ。（OMP_NUM_THREADSを64,128などと変化させてベンチマークする場合等はこちらが便利。GOMP_CPU_AFFINITYを書き換える必要がないので。）

ちなみに、seqコマンドやrsコマンドが使える場合、以下のコマンドで同様の文字列（カンマ区切りの数列）を生成することも可能。

$ seq 0 127 | rs 0 8 | rs -T | rs 1 0 | sed "s/  */,/g"
0,8,16,24,32,40,48,56,64,72,80,88,96,104,112,120,1,9,17,25,33,41,49,57,65,73,81,89,97,105,113,121,2,10,18,26,34,42,50,58,66,74,82,90,98,106,114,122,3,11,19,27,35,43,51,59,67,75,83,91,99,107,115,123,4,12,20,28,36,44,52,60,68,76,84,92,100,108,116,124,5,13,21,29,37,45,53,61,69,77,85,93,101,109,117,125,6,14,22,30,38,46,54,62,70,78,86,94,102,110,118,126,7,15,23,31,39,47,55,63,71,79,87,95,103,111,119,127