72
22

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

とあるサーバルームの温度管理 灼熱地獄編

Posted at

サーバルームの空調は大事

サーバを大量に設置するサーバルームは空調が重要です。
サーバは稼働している間熱を発するため、一定の温度を保つように空調で調節します。
そんなサーバルームの空調は、多くの場合専用の空調が整備されていますが、建物によっては通常の空調(エアコン)で賄っている場合も少なくありません。

そんな通常の空調でサーバルームの温度を調整している場合は気をつけましょう。
適当に仕事をしているとムスペルヘイム(灼熱の国)が顕現します。
image.png

サーバの当然停止

ある日の深夜、保守システムがアラートを発しました。
アラート内容はサーバ停止、なお対象サーバは全サーバ。

なんちゃって冗長構成もなんのその、全サーバダウンという類まれなインシデントです。
すぐさま現場に駆けつけてサーバルームの扉を開けました。
すると・・・

image.png
(イメージです)

image.png
(イメージです)

扉を開けた瞬間熱風が体を包み込み、バックドラフトでもくらったかと錯覚しました。

どう見ても熱暴走です。本当にありがとうございました。
体感温度としてはサウナ並かそれ以上でしたが、それなら保守システムより先に火災報知器がなるはず・・・

この建物、煙検知方式だった\(^o^)/

空調が壊れたのか確認するために制御パネルのある室内へ向かうことにした私は、さながら火災現場に挑むファイヤーファイター

サウナを思い起こす息苦しさに耐えながら制御パネルを確認すると「暖房」の文字が
さらに室温は60度オーバー

すぐさま冷房に変更し、窓を全開放。
この間数分程度でしたがフルマラソンでもしたのかというレベルの汗をかきました。

その後サーバの点検をしたところ、メモリとCPUがいくつかおじゃん(性能劣化)になってました。
損害額はサービス停止も含め1000万弱というところ

原因は?

インフラ担当者が帰り際に制御パネルに触れて設定を暖房に切替えた事が直接原因。
なお本人に自覚はなく、背負っていたバックが接触したと推察されました。

インフラ屋!!!!!
image.png

根本原因としては、そもそも制御パネルを操作できる状態にしていたから。

対策

制御パネルが封印されました。
image.png

 サーバルーム最終退出者は空調をチェックしましょう

image.png

72
22
5

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
72
22

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?