[入門] ネットワーク基礎 データセンター選定の実践ガイド

2006年8月14日午前7時38分、まだ眠い月曜の朝。旧江戸川を優雅に航行していたクレーン船の船長は、きっとこう思っていたはずです。

「今日も平な一日が始まるなぁ」

その5秒後、彼は日本のIT史に名を残すことになります。275,000ボルトの特別高圧送電線にクレーンをぶつけるという、誰も真似できない離れ業で。

この瞬間、船長の人生は180度変わりました。警察の事情聴取、国土交通省の調査、電力会社からの損害賠償請求...。業務上過失による送電線損壊の容疑で書類送検され、後に起訴猶予処分となりました。船長免許は取り消され、所属していた海運会社も営業停止処分を受けることに。

しかし、この事故がもたらした影響は、一人の船長の運命をはるかに超えていました。東京都と千葉県の広範囲で139万軒が停電し、日本の金融システムは大混乱に陥り、なんと日経平均株価すら算出できないという前代未聞の事態が発生したのです。

皮肉なことに、この「史上最悪の月曜日」は、後に日本のデータセンター業界を世界最高水準へと押し上げる転換点となりました。あの船長の「うっかり」が、日本のIT基盤の脆弱性を白日の下に晒し、真の冗長化への道を切り開いたのです。

さて、あれから19年。データセンター選定の現場では、必ずと言っていいほどこの事故の話が出てきます。「2006年の教訓を活かして...」という枕詞とともに。今回は、あの日の出来事を振り返りながら、現代のデータセンター選定における実践的なアプローチを、体系的に掘り下げていきましょう。

IT業界への甚大な影響

この停電による被害は、単なる電力供給の停止にとどまりませんでした。特にIT業界への影響は深刻で、日本の金融インフラストラクチャの脆弱性を露呈する結果となりました。

金融システムではATM停止、オンラインバンキング障害、取引システム停止が発生しました。データセンターではサーバー停止、クラウドサービス障害、データ損失リスクが生じました。交通インフラでは信号機停止、鉄道運行停止、エレベーター停止が起こり、一般企業では業務停止、生産ライン停止、通信障害が発生しました。

東京証券取引所への影響 ～日経平均、算出不可になる～

最も象徴的な被害は、日経平均株価の算出が不可になったことです。しかし実際は、東京証券取引所のシステム自体は稼働していました。問題は江東区南砂にある日経の南砂別館（TCC）で発生しました。

(画像: 旧称は日経南砂別館で現在はNTTドコモビジネス 東京第9データセンタ)

7時35分の停電発生時は非常用発電に切り替わりましたが、13時25分に発電機に不具合が生じ、日経南砂別館全体で電源断が発生、これによりQUICK/NAS¹の指数算出システムが停止。

13時26分以降、日経平均のリアルタイム配信ができなくなったのです。当時、完成したばかりの日本橋三井タワーに出勤していた私も「日経平均が算出不可」という前代未聞の事態に大きな衝撃を受けました。

QUICK、NAS、日本経済新聞社の各グループ企業にお勤めの方で、本記事をご覧になった方は、ぜひLGTM「いいね」を押していただけますと幸いです。また、若手社員の教育のために本記事を共有いただければ、大変ありがたく存じます。

東証と日経の関係を整理すると、東証は「株を売買する市場」を運営し、日経は「その市場で取引されている株価データを使って指数を計算」しています。東証の立会価格はFLEX Standard/MBO²で配信され、QUICKが直接受信する仕組みです。証券会社のシステムを経由しないため、理論上は証券会社が止まっても指数計算は継続できるはずでした。

しかし、肝心の日経側の計算システムが電源喪失で停止してしまったため、5秒ごとに更新されるはずの日経平均が表示されないという異常事態となりました。

データセンターの機能停止

複数の大手データセンターで、以下の問題が発生しました。

電源系統の脆弱性が露呈したケースでは、設備的には対策ができており問題ないはずでしたが、CVCF³は作動したものの、自家発電装置の起動に失敗して給電停止しました。冷却水漏れ、燃料劣化、バッテリー上がりなど、定期点検の不備が原因で、復電まで顧客システムが完全停止しました。

都内某金融系データセンターでは、2系統受電していたが、両系統とも同一変電所からの供給で、結果として「なんちゃって冗長」であることが判明し、金融機関の決済システムに影響しました。

通信事業者系データセンターでは、燃料タンクの残量不足により、停電長期化への対応不可となり、緊急時の燃料供給契約がなく、調達に難航しました。

停電が明らかにした構造的問題

この停電により、日本のIT基盤における以下の構造的問題が明らかになりました。

電力供給の脆弱性として、同一変電所依存と受電経路の単一化が露呈しました。冗長化の不完全性では、なんちゃって冗長と試験の不足が問題となりました。BCP⁴の形骸化により、机上の計画と訓練の欠如が明らかになり、相互依存の複雑性から、システム連携による障害の連鎖が発生しました。

データセンターの電力設計における教訓

真の冗長化とは何か

2006年の停電で最も重要な教訓は、「真の冗長化」の意味を業界全体が再認識したことです。

なんちゃって冗長の例

真の冗長化

なんちゃって冗長の例では、同一変電所から受電設備A系とB系の両方に電力を供給し、そこからデータセンターに給電する構成でした。変電所が停止すると両系統とも停止してしまいます。

真の冗長化では、異なる系統の変電所Aと変電所Bから、それぞれ受電設備A系と受電設備B系に電力を供給し、データセンターに給電します。どちらかが生きていれば稼働継続が可能となります。

変電所との位置関係の重要性

停電の経験から、変電所との物理的な距離が極めて重要であることが明らかになりました。

理想的な立地条件として、変電所からの距離は5km以内で送電ロスと事故リスクを最小化し、複数変電所へのアクセスは最低2箇所、理想は3箇所以上を確保します。送電線ルートは河川横断や山越えが少ないことが望ましく、地中化区間は可能な限り地中送電線エリアを選択することが重要です。

自家発電設備の落とし穴

多くのデータセンターが自家発電設備を持っていたにも関わらず、機能しなかったケースが続出しました。

主な失敗要因として、起動失敗は定期試験の不足やメンテナンス不良によるものでした。燃料不足は備蓄量の不足や補給契約の不備が原因でした。冷却系統の故障は長時間運転を想定していない設計によるもので、切替失敗はATS⁵（自動転送スイッチ）の動作不良が原因でした。

首都圏主要データセンターエリアの特性

都心型データセンター

大手町エリアは日本のインターネットの中心でIX⁶直結、超低遅延というメリットがありますが、電力容量の制約、高額な賃料、拡張性の限界というデメリットがあります。金融取引システムやリアルタイム処理が必要なサービスに適しています。

豊洲・有明エリアは比較的新しい設備で都心アクセスも良好ですが、湾岸部の液状化リスクや津波リスクがあります。企業の基幹システムや開発環境に適しています。

(画像: 豊洲にあるAT TOKYO Data Center - ここから見る夜景や花火が綺麗だ)

郊外型データセンター

多摩・府中エリアは武蔵野台地の安定した地盤、豊富な電力供給、拡張余地というメリットがありますが、都心から約30kmという距離がデメリットです。DR⁷サイトや大規模バッチ処理に適しています。

(画像: 三鷹にあるセコムSCセンター - 近くのとんかつ屋が美味しい)

印西エリアは「データセンター銀座」と呼ばれ、冷涼な気候と広大な敷地というメリットがありますが、都心から40km以上離れており専用線コストがかかります。クラウド基盤やコンテンツ配信に適しています。

(画像: 印西にあるColt印西データセンター - イオンモール千葉ニュータウンの近く)

データセンター事業者の選定

通信キャリア系の特徴

NTTドコモビジネス（旧NTTコミュニケーションズ）は、国内最大規模のネットワーク網を持ち、Tier1 ISP⁸としてグローバル接続性を提供しています。99.999%保証という厳格なSLA⁹を提供し、金融機関での採用実績が多数あります。

KDDIは海底ケーブルによる国際接続を持ち、マルチキャリア対応が可能で、クラウド連携サービスが充実しています。

外資系データセンター

Equinixは世界最大のデータセンター事業者で、主要クラウドに直結するCloud Exchange¹⁰を提供しています。グローバル企業が集積し、相互接続エコシステムが構築されています。

Coltは欧州系の運用基準で運営され、超低遅延ネットワークを提供しています。金融業界での実績があり、PUE¹¹ 1.2〜1.4という環境配慮型設計を採用しています。

データセンター評価チェックリスト

電力設備では、特高受電の系統数が2系統以上（異なる変電所）であること、UPSがN+1¹²以上の冗長構成であること、自家発電が72時間以上の連続運転が可能で、燃料供給の優先供給契約があることを確認します。

空調設備では、空調機の冗長構成がN+1以上で、PUE値が1.5以下であること、外気冷房のフリークーリング¹³に対応していることを確認します。

建物・耐震では、新耐震基準以降の建築で、免震・制震のいずれかを採用し、床荷重が1,000kg/㎡以上の耐荷重性能があることを確認します。

ネットワークでは、選択可能なキャリアが3社以上あり、IX接続は直結または10ms以内で可能であること、主要3社のクラウドへの専用接続サービスに対応していることを確認します。

セキュリティでは、2要素以上の生体認証による入退室管理、24時間365日の有人監視体制、ISO27001等の認証取得を確認します。

運用・サポートでは、24時間365日のエンジニア常駐体制、30分以内のリモートハンズ¹⁴対応、99.99%以上の稼働率保証のSLAを確認します。

データセンター見学時の確認ポイント

見学前の準備

見学申込は1〜2週間前に行い、参加者情報を事前提出し、機密保持契約を締結します。質問事項は事前に整理しておきます。

現地確認チェックリスト

入館プロセスでは、写真付き身分証明書による本人確認、指紋/静脈/虹彩認証の生体認証登録、カメラや記録媒体の預かりによる持込制限、共連れ防止システムによるアンチパスバックを確認します。

サーバルームでは、18-25℃の体感温度による温度管理、結露の有無による湿度管理、会話可能なレベルの騒音レベルを確認します。設備面では1.2m以上の通路幅によるラック配置、ケーブリングの整理整頓状況、ガス消火設備を確認します。運用面では機器搬入・作業の容易さ、エレベーター容量・経路幅の搬入経路を確認します。

電源設備では、UPS室の冗長構成とメンテナンス作業の容易さ、発電機の設置場所（屋外/屋内）と騒音対策、燃料タンクの容量と残量表示、手動切替可能な切替盤、ブレーカー容量に余裕のある分電盤を確認します。

ネットワーク設備では、MDF/IDF¹⁵での複数キャリアの引込確認、配線の整理整頓とラベリング状況、拡張のための空きスペースを確認します。

災害対策とBCP

首都圏の災害リスク評価

地震リスクとして、30年以内70%の確率で発生が予想される首都直下型地震（M7クラス）、長周期地震動の影響、液状化マップの確認が必要です。

水害リスクとして、荒川、多摩川、江戸川の河川氾濫、高潮・津波、内水氾濫への対策が必要です。実際、そのような立地にあるデータセンターの一部には、潜水艦のように完全防水で、水没にも耐えられる設計が施された施設も存在します。

(画像: 南砂の風景)

DRサイトの選定

距離の考え方として、同時被災を避けるため60km以上、広域災害を考慮して300km以上（関西DR）、国際分散として海外DC活用を検討します。

関西圏のDRサイト

関西圏のDRサイト構成例では、東京のプライマリから大阪のセカンダリへリアルタイムレプリケーションを行い、大阪から福岡のターシャリへ定期バックアップを行います。東京-大阪間は約300km、大阪-福岡間は約600kmの距離があります。

コスト構造と契約時の注意点

費用構成の理解

初期費用の主要項目には、ラック費用と電源工事のラック関連費用、キャリア引込と構内配線の回線関連費用、入館登録や初期設定などのその他費用があります。

月額費用の主要項目には、サイズと電力容量により変動するラック費用、基本料金と従量料金からなる電力費用、帯域とキャリアにより変動する回線費用、リモートハンズ等の付帯サービス費用があります。

TCO（総所有コスト）の考え方

TCOは初期費用、月額費用、追加費用、移転費用の総和で構成されます。初期費用には各種工事費、月額費用にはラック費用、電力費用、回線費用が含まれます。追加費用として拡張工事や機器更新、移転費用として撤去費用や移設費用を考慮し、5年間の総コストを算出します。

契約条件の確認

SLA条項では、99.99%以上の稼働率保証で計画停電の扱いを確認し、電源、空調、回線の保証範囲と免責事項を確認します。SLA違反時のペナルティと上限金額の有無も確認します。

解約条項では、1〜3年の最低利用期間と中途解約ペナルティ、3〜6ヶ月前の解約予告と書面通知の要否、原状回復の工事範囲と費用負担者を確認します。

利用規約では、持込可能機器の制限と事前承認の要否、24時間作業が可能かと深夜作業の可否、変更申請のリードタイムと緊急時の対応を確認します。

2006年以降の進化と今後の展望

設計思想の変化

2006年の停電以降、データセンター業界では以下の変化が起きました。

電源設計の進化として、異なる変電所からの3系統受電、48時間以上の燃料備蓄、定期的な実負荷試験の義務化、コジェネレーション¹⁶の採用が進みました。

新技術の導入

新技術の導入では、従来の鉛蓄電池UPSからリチウムイオン電池への移行、空冷CRAC¹⁷から液冷直接冷却への移行、商用電源依存から再生可能エネルギーへの移行が進み、効率向上、PUE改善、環境対応、コスト削減が実現されています。

今後のトレンド

エッジコンピューティング¹⁸対応として、5G時代の超低遅延要求に応える都市型マイクロDC、分散型アーキテクチャが注目されています。

サステナビリティでは、カーボンニュートラル、再生可能エネルギー100%、廃熱の有効活用が重要なテーマとなっています。

現代のハイブリッド戦略と新たなリスクへの対応

クラウドを活用したハイブリッド戦略

今ではオンプレミスとクラウドのハイブリッド戦略¹⁹も可能となり、各社の特徴を活かした選択が可能です。

AWSは最大規模の33リージョンを展開し、東京・大阪リージョンで国内分散が可能で、従量課金と予約インスタンスによる割引を提供しています。Microsoft AzureはOffice 365との親和性が高く、ハイブリッド対応に優れ、東日本・西日本リージョンを持ち、エンタープライズ契約で優遇されます。Oracle Cloudは高性能・低価格でデータベース統合に強く、東京・大阪リージョンを持ち、固定価格オプションでコスト予測が容易です。Google CloudはAI/MLとビッグデータ処理に強く、東京・大阪リージョンを持ち、継続利用割引が自動適用されます。

新たな脅威への対応

現代のBCP策定では、従来の自然災害に加えて地政学的リスクも考慮する必要があります。

南海トラフ地震や首都直下地震などの自然災害リスク、台湾有事や朝鮮半島情勢などの地政学的リスク、国家支援型攻撃やランサムウェア²⁰などのサイバー攻撃リスク、核ミサイルによるEMP²¹攻撃、ドローンによる電力網への攻撃、インフラ破壊などの物理攻撃リスクに対して、総合的な対策が必要です。

EMP（電磁パルス）対策として、シールドルームの設置、重要機器のファラデーケージ²²保護、非電子的バックアップシステムの準備が必要です。ドローン攻撃対策として、変電所・送電線の物理的防護、ドローン検知システムの導入、重要インフラの地中化推進が求められます。

グローバル分散戦略と衛星通信の活用

日本国外にも業務継続のための拠点を準備する必要が出てきています。シンガポールは政治的に安定しアジアのハブとして機能しますが、データ主権法への対応が必要です。オーストラリアは地理的に離れた安全地帯ですが、150ms程度のネットワーク遅延があります。北米の米国西海岸は成熟したインフラを持ちますが、日本との時差と規制対応が課題です。

また、Starlink²³等の衛星通信の準備も重要です。地上インフラが破壊された場合のバックアップ回線として、低軌道衛星通信²⁴は災害時の即時復旧が可能で、地理的制約を受けない通信手段として有効です。

おわりに

2006年8月14日の首都圏大停電は、日本のIT業界にとって大きな転換点となりました。日経平均が算出できないという前代未聞の事態は、我々に電力供給の重要性と、真の意味での冗長化の必要性を痛感させました。

データセンターの選定は、単に設備スペックを比較するだけでなく、立地、電力供給、災害リスク、事業継続性など、多角的な視点から評価する必要があります。特に、変電所との位置関係や、異なる系統からの受電という「真の冗長化」は、2006年の教訓から学んだ最も重要なポイントです。

あの日を「最高の一日」と呼ぶ人もいます。それは、多くの障害と損失をもたらしながらも、日本のデータセンター業界を世界最高水準の信頼性へと押し上げる契機となったからです。

そして実はこの停電、後に「日本のデータセンター業界を世界最高水準に押し上げた最高の一日」と呼ばれることになります。なぜなら、この日を境に全国のデータセンターが本気で冗長化に取り組み始め、「なんちゃって」は消え、「ガチ」の時代が始まったからです。

そして2016年、とあるデータセンターの壁にはこんな標語が掲げられていました：
「あのクレーン船に感謝」
...いや、それはちょっと違うだろ！

でも確かに、あの船長がいなければ、今の堅牢な日本のIT基盤は生まれなかったかもしれません。船長、ある意味で日本のIT業界の恩人です。（※褒めてません）

現在では、クラウドサービスの成熟により、オンプレミスとクラウドのハイブリッド戦略が可能になりました。特にOracle Cloudは、コスト面での優位性が注目されており、AzureやAWSといった主要クラウドサービスと比較しても競争力のある価格設定となっています。オンプレミスと比較した場合、運用コストの大幅な削減も期待できます。また、南海トラフ地震などの大規模地震、台湾有事、北朝鮮問題、核ミサイルによるEMP攻撃や、ドローンによる電力網への攻撃などの新たな脅威も考慮する必要があります。国外への拠点展開やStarlinkのような衛星通信の導入など、より広い視野に立ったBCP策定が求められる時代になっています。

この教訓を活かし、より堅牢で信頼性の高いインフラストラクチャを構築することが、我々エンジニアの使命です。

次回は、データセンターに構築するネットワークの論理設計について、VLAN設計、IPアドレス設計、ルーティング設計など、ネットワークの論理的な構造を決定する要素について詳しく解説していきます。物理と論理、両方の設計が適切に連携することで、真に優れたネットワークが実現されることを忘れずに、設計に取り組んでいただければ幸いです。

もしこの記事が「面白かった！」「勉強になった！」と思ったら、LGTM（いいね！） で応援してくださると嬉しいです。

1. QUICK/NAS - 日本経済新聞社のグループ企業であるQUICKとNASが運営する日経平均株価などの指数算出システム。日経新聞に就活失敗した人の多くがお礼参りの如くQUICKやNASに入社する。 ↩

2. FLEX Standard/MBO - 東京証券取引所の相場情報配信システム。Market By Order形式で全注文情報を配信。 ↩

3. CVCF (Constant Voltage Constant Frequency) - 定電圧定周波数装置。電圧と周波数を一定に保つ電源装置。 ↩

4. BCP (Business Continuity Plan) - 事業継続計画。災害時でも事業を継続するための計画。 ↩

5. ATS (Automatic Transfer Switch) - 自動転送スイッチ。停電時に自動で予備電源に切り替える装置。 ↩

6. IX (Internet eXchange) - インターネットエクスチェンジ。複数のISPが相互接続する拠点。 ↩

7. DR (Disaster Recovery) - 災害復旧。災害発生時にシステムを復旧させるための対策や拠点。 ↩

8. Tier1 ISP - インターネットの基幹を構成する最上位のインターネットサービスプロバイダ。 ↩

9. SLA (Service Level Agreement) - サービス品質保証契約。サービスの稼働率などを保証する契約。 ↩

10. Cloud Exchange - クラウドサービスプロバイダーへの専用接続を提供するサービス。 ↩

11. PUE (Power Usage Effectiveness) - データセンターの電力効率を示す指標。総消費電力/IT機器消費電力で算出。 ↩

12. N+1 - 必要数（N）に対して予備を1つ追加した冗長構成。 ↩

13. フリークーリング - 外気を利用した冷却方式。冬季の冷たい外気で冷却し省エネを実現。 ↩

14. リモートハンズ - データセンター常駐スタッフによる現地作業代行サービス。 ↩

15. MDF/IDF - Main Distribution Frame（主配線盤）/Intermediate Distribution Frame（中間配線盤）。 ↩

16. コジェネレーション - 熱電併給。発電時の廃熱を有効利用するシステム。 ↩

17. CRAC (Computer Room Air Conditioner) - コンピュータルーム専用空調機。精密な温湿度管理が可能。 ↩

18. エッジコンピューティング - データ処理をユーザーに近い場所で行う分散コンピューティング手法。 ↩

19. ハイブリッド戦略 - オンプレミスとクラウドを組み合わせて利用するIT戦略。 ↩

20. ランサムウェア - データを暗号化して身代金を要求するマルウェア。 ↩

21. EMP (Electromagnetic Pulse) - 電磁パルス。核爆発などで発生し、電子機器を破壊する電磁波。 ↩

22. ファラデーケージ - 電磁波を遮断する金属製の囲い。EMP対策として使用。 ↩

23. Starlink - SpaceX社が運営する低軌道衛星インターネットサービス。 ↩

24. 低軌道衛星通信 - 地上から数百〜2,000km程度の低い軌道を周回する衛星を使った通信。 ↩