動作環境

Xeon E5-2620 v4 (8コア) x 2
32GB RAM
CentOS 6.8 (64bit)
openmpi-1.8.x86_64 とその-devel
mpich.x86_64 3.1-5.el6とその-devel
gcc version 4.4.7 (とgfortran)
NCAR Command Language Version 6.3.0
WRF v3.9を使用。
Python 2.6.6 (r266:84292, Aug 18 2016, 15:13:37) 
Python 3.6.0 on virtualenv
GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)
date (GNU coreutils) 8.4 
tmux 1.6-3.el6

数値計算に使用していたPCのtmuxセッションが切れていた。
その時刻あたりから数値計算の結果ファイルの更新も停止している。
sshで再ログインはできる。

再起動があったか気になり/var/log/messagesを見ていると/proc/kmsg startedというログが見つかった。

Jan 29 18:42:53 XXXX kernel: imklog 5.8.10, log source = /proc/kmsg started

その後、起動時に

Oct 29 17:18:55 svname kernel: klogd 1.x.x, log source = /proc/kmsg started.

Oct 29 17:18:55 svname kernel: Linux version （以下略

という、起動した旨のメッセージがでます。

再起動したようだ。

以下には「シャットダウン時」と「起動時」のメッセージ例が紹介されている(Ubuntu + CentOS)。
http://s.webry.info/sp/vogel.at.webry.info/201611/article_4.html