結論:初期設定のファイルハンドラの上限数を超えてファイルを開こうとしていた
・開けるファイルの上限数を調べるには
$ ulimit -aS | grep open
設定変更をしていない場合の結果(Ubuntu 22.04では n=1024)
open files (-n) 1024)
・上限数を変えるには (1024->32768にする場合)
$ ulimit -n 32768
.bashrcなどに書き込んでおいても良い
経緯
SWAN (波浪予報モデル)を20 coreの並列モード(openmpi)で実行
→ 最後でエラーを吐いて停止。ログを見ても計算自体は問題なし
→ 事前に"ulimit -n 32768"を入力することで回避
(終末処理で、多数のファイルを開いていた模様)