infinidbでエラーがでて起動できなくなった場合，全台再起動すると治るかも．

• 症状としては多対多のデータを含むテーブルをjoinしてメモリーを使い果たしてシステムが落ちた．
• エラーメッセージは

Jan  7 16:01:14 sphynx PrimProc[16613]: 14.857119 |0|0|0| C 28 CAL0045: FATAL ERROR: PrimProc has allocated too much memory! PrimProc is restarting.

な感じ

• oam server上でinfinidb を再起動させたり， ccでrestartSystemしても正常に起動しない．．．

でやることは，

• 手動で，全台のinfinidbを手動で再起動する．

start_idbs.sh

#!/bin/sh                                                                                                                                                      
ids=(-master 01 03 04 05 06 07 08 09 10)
for id in ${ids[@]} ; do
    host=worker_${id}
    echo $host
    ssh $host "sudo /etc/init.d/infinidb restart"
done

みたいscriptで全台再起動．これで復旧できた．