初心者のためのデータセンター関連情報リンク・その他小ネタ集

先日、インフラ勉強会に参加していたときにデータセンターの見学に関する質問があがりました。
それを見ていて、

• 最近はクラウドが流行ってるしデータセンターに近づく機会がない人が増えたかな？
• そういえば、自社の若手（2年目くらいまで）はデータセンターに行ったことがない人ばかりだな
• 自社も1～2年内におそらくデータセンターから撤退するはずだし、適当にメモでも残しておくか

と思ったので、記事として残しておきます。

【注】

• **「インフラ勉強会」**について知りたい方はこちらの記事をご覧ください。
  • インフラ勉強会のご紹介（ゆたかさん）
• 以下、**「データセンター」を適宜「DC」**と略記します。
• 想定対象読者は以下のようなレベルの人です。
  • DCに入ったことがない
  • 入ったことはあるけどよく知らない（連れていかれただけ・設備を見学したことがない）
  • **「DC＝寒い場所」**と思っている
• DCのサービス提供側ではなく（小規模な）ユーザ側の視点で書いています。

2018/06/30追記：
間違って記事にたどり着く人を減らすため、タイトルを少し変更しました。

データセンターとは

**日本データセンター協会（JDCC）**のサイトでは、

データセンターとは、インターネット用のサーバやデータ通信、固定・携帯・IP電話などの装置を設置・運用することに特化した建物の総称を指します。
特にインターネット接続に特化したものをインターネットデータセンター (Internet data center、iDC)と言う場合があります。

と説明されています。
「インターネット用」という文言がありますが、一般企業の社内システムを置く場合もあります（広域Ether・IP-VPN・専用回線などで自社と接続）。

重要な要素としては、

• 耐震性・セキュリティに優れた建物
• 防火・空調設備
• 高品質・大容量の電源（商用電源・UPS・自家発電設備）
• インターネットなど各種回線接続
• 各種オペレーション代行／マネージドサービス
• 利用料金

があります。

※一般の企業内でサーバなどを設置する目的で用意された建物や部屋のことを「データセンター」と言うことがありますが、当記事の内容からは除外します。

リンク集(1) 予備知識・情報編

• 立地関連
  • J-SHIS 地震ハザードステーション
  • 国土交通省ハザードマップポータルサイト
    • 洪水・土砂災害・津波に関するハザードマップ。
  • N値とは - 環境アセスメント用語 Weblio辞書
    • 地盤／地層の硬さを示す値。DCの説明によく出てくる。
  • 以下については必要であれば目を通しておくと良いでしょう。
    • 活断層とは何か｜国土地理院
    • 産総研：活断層データベース
• 建物関連
  • 一般社団法人日本免震構造協会｜免震建築とは？
    • 耐震構造と免震構造の違い。
  • 寒いデータセンタは時代遅れ？（Aimless）
    • 個人ブログのようですが、空調・空気の流れとそれを意識したラック配置について理解する上で参考になります。
  • アイルキャッピング | NTTファシリティーズ | ICT装置用気流制御システム
    • コールドアイルキャッピングの例。
• 電源関連
  • UPSとは | クラウド・データセンター用語集／IDCフロンティア
  • 特別高圧で知っておきたい５つのポイント | 高圧電気料金一括見積り【スイッチビズ】
    • 受電設備（受電方式の違い）についての説明。
  • ほか、自家発電設備も含め、重要な構成要素ではあるものの初心者にわかりやすい解説が見つからなかったので省略…。
• ラック関連
  • 19インチラック選定ガイド:SETTSU/IDEAL 摂津金属工業株式会社
• その他・全般
  • クラウド&データセンター完全ガイド
    • インプレスのサイト。インプレスは季刊誌として「クラウド＆データセンター完全ガイド」を発行しています。
  • コロケーションとは？ハウジングやホスティングとの意味の違いなどを徹底解説！ - サーバー・ストレージ | ボクシルマガジン
    • ハウジングとコロケーションの違いについての説明。
    • なお、当記事では主として**「小規模なラックハウジング」**を扱います。
  • データセンター ファシリティスタンダードの解説（JDCC） ※PDF資料
    • http://www.jdcc.or.jp/pdf/facility.pdf
    • データセンター施設・設備のレベル（Tier）についての説明。

リンク集(2) DCの設備紹介・バーチャル見学ツアー編

• 日本 データセンター - Nexcenter| NTT Communications | NTTコミュニケーションズ 法人のお客さま
  • 東京第4・東京第6などの説明ページにバーチャルツアーへのリンクがあります。
• データセンター｜IDCフロンティア
  • 北九州DCのバーチャルツアーへのリンクがあります。
• 日本データセンター協会 - Japan Data Center Council（JDCC）
  • 年に1回程度、学生向けDC見学ツアーの案内が掲示されます。

※参考までに、クラウドデータセンターのバーチャルツアーのリンクもあげておきます。

• AWS データセンター - アマゾン ウェブ サービス (AWS)
• Azure データセンター
• Google Data Center 360° Tour

データセンター選定のポイント（私見）

クラウド全盛の時代に、新たにDCを契約する機会は激減したのでは？と思いますが、一応、個人的な選定ポイントを示しておきます。

※前述の通り、当記事では「小規模なラックハウジング」をメインに選定のポイントを示します。基本的には前述のインプレスのサイトや季刊誌などを参考にしたほうが良いでしょう。

立地

• DC自体が立つ土地は当然として、DC周辺についてもハザードマップや目視などで確認しておく。
  • 地盤の固さ・液状化の危険度（ハザードマップ）
  • 風水害・津波の危険度（同上）
    • 高台であっても河川・池などの位置や周囲との高低差に注意。
  • ビル等の密集度
    • 地震発生時にアクセス路が断たれる可能性があるため。
• 実際に現地周辺を歩き回るのがお勧め。必ず通らなければならない場所が被災するとアクセスできなくなる可能性がある。
• 自分（自社社員）のアクセス性だけでなく、協力業者（SIer）や保守業者のアクセス性にも注意する。
  • 保守業者の拠点が遠い、機器故障時に交換部品が近くにないなどの理由で修理が遅れることも。
  • 自社や業者が機器を持ち込む／DC外へ持ち出すことも考慮に入れる。
• 災害時のタンクローリー・重機などのアクセス性にも注意する。
  • 特に都市型DCではアクセス路が狭くて遠回りになったり、経路上のビルの倒壊などで大型車両がアクセスできなくなることも。
  • 燃料が足りずに自家発電が停止したり、損傷した設備の復旧が遅れる可能性がある。
• BCP（事業継続計画）／DR（災害・惨事復旧）目的でDCを契約する場合、災害発生時にそのシステムを利用するユーザのシステムへのアクセス性についても注意する。
  • 「システムは動いているが肝心のユーザがアクセスできない」では意味がなくなる。
  • 「データ消失・破損を防ぐ」のが主目的なら、DCハウジング契約ではなくDCやクラウドが提供するバックアップサービスの利用を検討する。
• LANケーブル・外付けHDDなどの部材・周辺機器や食料などの調達がしやすいかどうかに注意する。

建物

• 免震構造かどうかを確認する。
  • 耐震構造の場合、建物の倒壊を防ぐことはできてもラック内の機器が損傷する恐れがある。
  • 耐震構造＋免震台という構成のDCもある。免震構造のDCには劣るが耐震構造で免震台なしのDCよりはマシ。
• 「震度7に対応」が「震度6強に対応」よりも耐震性が高いわけではないので注意。
  • 「震度7」は「最大の震度」なので上限がない。
  • 「震度6強に対応」は「震度6強よりも強い揺れに対応している」ことを意味していることが多い。
  • 「震度7に対応」は「震度7のうち想定される範囲の揺れ（阪神大震災レベルなど）に対応している」ことを意味している。
  • 結局、同じ意味だったり、むしろ「震度6強に対応」のほうが対応している揺れの強さ・大きさが上の場合もある。
• 必要な範囲でTierのレベルが高いDCを選ぶ。
  • 但しオーバースペックにならないように注意（コスト高になることも）。
  • Tierについては上位レベル（数字が大きいほう）に「準拠」しているとされていても、「完全準拠」しておらず「一部準拠」が結構あるので注意する。
• 休憩室・ドリンクルームなどアメニティ施設が充実しているかについても確認しておく。
  • 障害発生時は作業が長丁場になることもあるため。
  • 近隣にコンビニがない場合は、DC内で軽食などの販売があるかどうかも確認しておく。
• トイレの位置と数も重要。
  • 「サーバルームは上層階」「トイレは1階（1箇所だけ）」「個室が2つしかない」ような状況はプレッシャーが大きい。
• 迷ったら新しいDCを選ぶ。
  • 但し、「サービス開始」が最近であっても、建物自体は「他用途の通信ビル（加入電話・PHS・ポケットベルなど）からの転用」であるケースもままあるので、建物の竣工日を確認しておく。

サーバルーム

• フロアの耐荷重に注意する。
  • 特にストレージなど重い機器を多数設置する場合、耐荷重が足りないことも。
• 19インチラックの奥行に注意する。
  • 最近は奥行きが長いサーバが多いので、最低でも1,000mmは必要。
• ラックポスト（機器取付用の支柱）の位置にも注意する。
  • 収容可能なサイズの機器でも、前面ポスト～背面ポストの間隔が長すぎる／短すぎることによって機器が取り付けられないことがある。
  • ポストの位置（特に背面側）が自由に移動できるのがベスト。
• 「寒すぎるDC」「全てのラックが同じ方向を向いているDC」（通路を挟んで向かい合わせ、ではないDC）はなるべく避ける。
  • おそらく設計が古い。温度が低いのはサーバに良い環境のように思えるが、実際は温度ムラが発生しやすく、環境が安定していない可能性がある。
• 「サーバルームに窓があるDC」も避ける。
  • おそらく他用途から転用したDC。日が差すと部屋の温度ムラが生じるし、外気温との差や温度変化の幅などによって結露が発生することもある。

電源

• 自家発電装置・燃料タンクの設置場所に注意する。
  • 地下や低地（嵩上げしていない場所）にある場合は浸水で使えなくなることも。
  • 逆に上層階にある場合（都市型DCで敷地の制約がある場合に多い）、通電していないと燃料タンクに吸い上げるポンプが作動しないため、一旦燃料（重油）が尽きて自家発電装置が止まってしまうと商用電源の供給が再開するまで停電したままになる可能性がある。
    • DCは「燃料（重油）の優先供給契約を結んでいることもあるが、東日本大震災クラスの大災害では供給が追い付かず契約の履行ができない可能性が高いため（実際に発生した）。
• 利用可能な電源容量や電圧に注意する。
  • 最近はサーバの高集積化が進んでいるため、ラック当たりの電源供給容量が足りなくなることも。
  • ブレードサーバやストレージなど、AC200Vが必要なケースもある。
  • 契約容量（A）に「70%以内」「80%以内」などのルールが存在しないか注意する。
    • 例えば100V60A契約で「70%以内」のルールが存在する場合、実利用量が42Aを超えると契約容量を上げないといけない。
    • サーキットブレーカがどのタイミングで作動するかについても確認しておく。
• 屋内の電源配線の冗長化を確認しておく。
  • 特に本番・プロダクト環境用のラックへは複数系統で引き込む。
  • 機器の配線も1機器の2電源ユニットを別々の系統に接続する。但しバランスに注意。
• 電源の利用量（A・VA・W時など）の確認方法に注意する。
  • ポータルサイトなどでリアルタイムに確認できない場合、バランスが崩れていて電源障害が起きる可能性もある。
  • DC側にリアルタイム確認できるサービスがない場合は、電源利用量を計測できるアウトレットを使い、遠隔監視できるよう設定しておく。

回線サービス

• 契約可能なキャリア（回線事業者）やサービス品目を確認しておく。
  • DC運営会社や立地（サービス提供地域かどうか）、建物設備の制約で使えない回線サービスもあるので注意する。
• DC自身が提供するサービスもあるのでサービス品目や接続先ISP・冗長化の有無などについて確認しておく。
  • 恐ろしく高価・低速なケースもあれば、逆に非常にリーズナブルなケースもある。
  • BCP／DR目的の場合、利用ユーザがいる地域までの回線容量が十分にあるかについも注意する。
  • 帯域だけでなくレイテンシも重要。遠いとレイテンシは大きくなる（光回線の限界）。
• 構内回線の冗長化の可否や構内回線利用料の要否・金額に注意する。

オペレーション代行／マネージドサービス（運用上の注意）

• 選定のポイントではないが、うまく運用する上で以下の点に注意する。
  • 可能ならDCの標準的な手順に沿う形で依頼する。
  • オーダーメイドのオペレーション代行を依頼する場合は、過度な期待をしない。
  • 分岐や繰り返しがいくつか発生するような手順では、「手順書通りにオペレーションできない」か「対応に恐ろしく時間が掛かる」のどちらかになってしまう危険性がある（というより、そうなりがち）。
  • DCに渡す資料（ラック内機器配置・ラベル対応表、連絡先情報、オペレーション手順書など）の更新を怠らない。
  • 障害／災害対応手順については、定期的に訓練を行う（自社＝依頼側、DC側の両方で）。

その他契約関連など

• 同じDC（建物）でも、複数の会社を経由して契約できることがある。
  • 例えば、A社所有のDCを、B社がフロア単位で借り上げてサービス提供しているケースや、C社とD社の合弁でE社が設立・運営しているDCを、C社／D社のそれぞれで契約可能なケースなどがある。
• 同じDCでも、契約する会社によって提供されるサービスや料金が異なることが多い。
  • 引き込み可能な回線のキャリア・本数やDC提供回線サービスの品目
  • 電源容量（標準／上限）
  • 契約可能なラックの単位（1/8・1/4・1/2・1・2～）
  • オペレーション代行／マネージドサービスの品目
  • DC内クラウドサービスなどオプションサービスの品目
  • 利用料金（同じDCで2倍近く違うことも）
• 免責事項や損害賠償の上限に注意する。
  • 通常、「ユーザ側に責のある事故でDCや他利用者に与えた損害の賠償額は上限なし」「DC側に責のある事故の損害賠償額は利用料1ヶ月分が上限」とされるケースが多いので、交渉でDC側損害賠償額の上限を変えてもらう（応じてもらえるケースが結構ある）。
• 電源障害の対応や災害対応など、可能な範囲で訓練を定期的に実施しているか確認しておく。
  • こちらはオペレーション代行（ユーザ個別契約）の範囲ではなく、DC全体の対応手順に沿った訓練の話。
  • やっていないと後述するような事故を起こしやすい。
• ある程度柔軟な対応を行ってもらえるDCを選ぶ。
  • ルール厳守（例：「大規模な搬出入を行う場合は必ず2週間以上前に申請すること」というルールを厳密に運用している等）だと何かトラブルが発生したときに困ることが多いので、可能な範囲で柔軟に対応してもらえるDCのほうが良い。
    • 但し、あまりにルーズだとセキュリティが保たれないので、あくまでも「基本的にルールは守るが、いざというときには臨機応変に対応してもらえる」レベルで。
    • セキュリティについても、例えばあまりにゲート通過のチェックが厳しすぎてアラートが鳴りまくるようなDCでは、作業に支障が生じたりかえってアラート発生時の運用が雑になることがあるので、利便性とのバランスが取れているところを選ぶのが良い。

※「受電設備」「UPS」「防火設備」「セキュリティ」といった重要な要素についてあまり触れていないのは、「どこのデータセンターも基本的に必要なレベルの設備を持ち、ルールを定めて認証を取得しているから」です。
なお、後述の事件の中に「これらが不十分だったために起きた事件」が含まれていますが、これは契約前に簡単に確認できることではないので、どうしようもないですね。

データセンター利用中に遭遇した事件・小ネタ集

そこそこ長い間に渡ってDCを利用していると、色々な事件に遭遇します。
というわけで、書ける範囲で…。

• DCにオペレーションマニュアル通りの操作をお願いしたらきっぱりと拒否された事件。
  • 1/4ラックの狭い中に機器を可能な限り詰め込んでしまったため。
  • 電源スイッチの操作をするのにケーブルをかき分けないといけない状況だったので、二次災害防止を理由に拒否された。
  • 綺麗に配線しないといけない、と反省（排熱観点からも）。
• 保守部品の配達員（中国人）にブチギレされた事件。
  • DCがセキュリティを理由に場所を明示していないために発生した事件。
  • メーカー系の工場併設DCを借りていたときに発生。
  • 工場の広大な敷地内のどこにDCの建物があるかわからず、配達員（中国人）がブチギレて電話してきた。
  • 私自身はDCに向かう前だったので迎えに行くことができず、その後も配達員は右往左往…。
  • DC責任者の方が迎えに行ってくれたようで一件落着。
  • 配達員、その後事故を起こさず他所の配達に回れただろうか…。
• 自分が借りていたロッカーを目の前で勝手に開錠された事件。
  • カバン等を入れておくロッカー（施錠あり）を開錠された事件。
  • 他の入館者がロッカー番号を間違えて、私が借りていたロッカーを指して「暗証番号が分からなくなったから開錠して」と受付のオペレータさんに依頼（したらしい）。
  • オペレータさんが開錠を始めたところで私がたまたま通りかかる。「そこ、私の荷物が入ってるロッカーですよ」。
  • オペレータさん、一瞬何が起きたか分からなくなり、そのまま開錠。
  • 「ほら、これ私のカバンですよ」と伝えて、ようやくオペレータさんとロッカー番号を間違えた入館者が理解。
    • 狐につままれたようなオペレータさんと入館者（お、おう…）。
  • その後、その入館者が自分の荷物が入ったロッカーをどう探し当てたかについては知らない。
  • 退館時に受付にいた人（件のオペレータさんとは別人）にセキュリティインシデント発生の旨伝えたところ「意味が分からない」という顔をされたが、ちゃんとエスカレーションされたようで、ロッカーを取り違えないための仕組みが新たに加わった。
• DC見学時に同僚がロッカーの鍵を破壊した事件。
  • 先の件とは別の新しいDCの見学に行ったとき、たまたま使おうとしたロッカーの鍵がうまく動かない事案が発生。
  • 同僚がちょっと強めの力で施錠しようとしたところ、錠前部分が丸ごと取れた。
  • 付き添いのDC営業マン苦笑。「後で直しときます」で終了。
  • このロッカーに荷物を預けても大丈夫だろうか。不安。
• 大手回線事業者（の下請け作業員）にDC内構内回線を切断された事件。
  • 作業ミスで工具を落としたらしく、数本の回線が切断された。
  • 夕方発生したため慌てて回線事業者の保守作業員を呼ぶ。運よく手配できたのでその日のうちに復旧できた。
  • 当初、事故を起こした事業者はすっとぼけて他社に濡れ衣を着せたので、関係のない人が菓子折りを持って私のもとに謝罪に来た。
  • 後で間違いが発覚したので、当該事業者の偉いマンと技術者が謝罪と説明にやってきたが、技術者の説明中、偉いマンはずっと居眠りしていた。
• 2006年8月14日首都圏停電に巻き込まれてDC内のサーバが全停止した事件。
  • 江戸川でクレーン船がクレーンを伸ばしたまま航行していて送電線に接触、首都圏の広い範囲が停電した事故。
  • その時ハウジングで利用していた某DCでは、UPSのバッテリー容量が足りずに自家発電装置起動・安定出力開始まで持たなかったために停電発生。
  • 自家発電に移行後、今度は商用電源復旧のタイミングで作業を失敗し、過電流が生じて再度停電。

ほか、ありがちなもの（実際にあった）は、

• サーバルーム軟禁事件（IDカードどこ行った？うう、寒い。トイレ行きたい…）
• 機器撤収時にネジ山をつぶす事件
• DC建物内の風景が無機質かつ左右対称過ぎて、初めてDCに来たメンバーが迷子になる事件（左の部屋？右の部屋？奥の部屋？それとも別の階？）

などでしょうか。