症状としては多対多のデータを含むテーブルをjoinしてメモリーを使い果たしてシステムが落ちた．
エラーメッセージは

Jan  7 16:01:14 sphynx PrimProc[16613]: 14.857119 |0|0|0| C 28 CAL0045: FATAL ERROR: PrimProc has allocated too much memory! PrimProc is restarting.

な感じ

oam server上でinfinidb を再起動させたり， ccでrestartSystemしても正常に起動しない．．．

でやることは，

手動で，全台のinfinidbを手動で再起動する．

start_idbs.sh

# !/bin/sh                                                                                                                                                      
ids=(-master 01 03 04 05 06 07 08 09 10)
for id in ${ids[@]} ; do
    host=worker_${id}
    echo $host
    ssh $host "sudo /etc/init.d/infinidb restart"
done

みたいscriptで全台再起動．これで復旧できた．