謎のアドベントカレンダー、第 13 話です。
それは入社直後のこと
先輩社員のお手伝いで、客先に出向いて自社サービスの研修を始めたのですが、そもそもサービスに接続できません。
どうしたのだろう?と思っていたところ、会社から先輩社員のもとに連絡があり、
- サービスを提供するためのシステムが置いてあるビルの電源が落ちた
- 電源が落ちた後、シャットダウンに手間取っているうちに UPS のバッテリー残量がなくなり、シャットダウン前に電源が落ちてしまった
- その後ビルの電源は復旧したが、システムが起動しなくなったため SI 業者とともに修復中
とのこと。
結果として研修は中止になりました。
(そしてみんな仲良く徹夜でシステム復旧。我々新人は終電で帰されましたが)
原因は
別のフロアで模様替えをしている最中、邪魔な太い線を見つけたので、パワーのある O さんがケーブルカッター(ハンドカッター)で切断したところそれが通電状態の電源ラインだった、とのこと。
(えーと…フロアにあるような電源ラインって見てすぐわかるものじゃないんでしょうか…そしてなぜ普通のオフィスフロアに太い電源ラインが切断できるケーブルカッターがあったんでしょうか…)
当然ショートして、フロアだけではなくビル全体の電源が落ちたようです。
その瞬間、火花が上がったらしいのですが、件の O さんは無傷だったそうです。
(無事でなにより。その後、長い年月を経て O さんはグループ内のとある法人のトップになりました。めでたしめでたし)
それはそれとして、個人的にはもう一つ気になっていたことが。
UPS、自動シャットダウン連携してなかったんかい!
これ、昔は意外とよくあることだったんですが、せっかく UPS からシリアルケーブルで保護対象のサーバーに接続されていたのに、シリアルケーブルから送られてくる通知信号を受けてシャットダウンできるように設定していなかったようです。
(いまの時代は USB ケーブルかな?)
件のサーバーはこの後対処が行われましたが、ほかに UPS からの出力を「拝借」して別の機器やサーバーを保護しているケースもあったりして、やはり商用電源が落ちたときにシャットダウンできずに死んだり、とか色々ありました。
このあたりは情シス時代には気を付けていたものの、結局ほぼ解消できたのはデータセンターに引っ越してからでした。
ところが!
14 日目の記事に続きます。