2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

某データセンターでループを作って落としてしまった話

Last updated at Posted at 2024-07-08

この記事は、
しくじりエンジニア!私みたいになるな!
への投稿記事です。

皆さん如何お過ごしでしょうか!?
しくじっちゃうことは仕方ないこと、
その後の処置と対応によって、
しくじりが繰り返されないことを願います。

簡単にやらかしたこと

ネットワークループを作って、
某データセンター内の通信を一部落としました。

結論

上が「お前ならやれる」といっても、
自分の専門じゃない分野で有識者への相談なしにやると
やらかす可能性が高いです。
やらかしの影響範囲がクリティカルじゃない場合は
チャレンジしてもいいですが、
やらかしで影響が大きくなる場合はきちんと「無理」と言うか、
有識者をつけてもらいましょう。

背景

今から10年くらい前、
私が初めてのインフラ構築作業のときに、
某データセンター内作業で、
初めてネットワーク機器を設定して入れたときのトラブルです。

やべーバックグラウンド

私、そもそもソフトウェア系のエンジニアなんですが、
何故かそのときは
・ネットワーク機器の設定
・ネットワーク配線の設置
を任されました。
私、若かったし、
それまでそんなにやらかしたことなかったので、
やったことなかったけれど、
上から言われたことを全力で達成しようとしました。
「あなたならやれるでしょ?」と言われたので、
やれると思って対応しました。
思えばこれがやばかったです。

ネットワーク有識者の不在

私、ソフトウェア系なんです。
ネットワーク初めてなんです💦

インフラ有識者の不在

私、ソフトウェア系なんです。
ネットワーク機器のテストやったことないんです。
でも、データセンターでインフラ構築します。
そんなものですね💦
ちなみに、ツーマンセルでついた方も、
LAN構築初めての方でした。

無駄な自信

今まで割とやれてたことも合って、
上がやれると判断したことは
私が頑張ればミスなくやれると思っていました。

やらかしたこと

ループを作って、
某データセンターの一部環境を見事に落としました。

やらかし方

検証不十分

ネットワーク機器のポートに対して、
コマンドでVLANを切ったつもりだったのですが、
結局VLAN切れてなかったです。
さらに、有識者がいなかったため、
・VLANを切った(つもりの)作業をした
でOKが出ましたが、
きちんと
・物理的にVLANが切れていることの検証をできていなかった
ことが検出できていなかったことが
後日の検証で問題点として明らかになりました。

検証不十分機器、データセンターへ

上記の検証不十分機器が、
データセンターへ入りました。

ループ発生

LANを繋いだ際に、当然のごとくループが発生しました。

サブネットマスク問題

さらに、上記の設定は、
サブネットマスクの絞りが不十分でした。
テンションとしては、
・サブネットマスク:255.255.255.0
だと通信できない機器が出るから、
・サブネットマスク:255.0.0.0
にしたら通信できるやんというテンションでした。

そして伝説へ

はい。
割と影響大きめでループ出ました。

惨劇はなぜおこってしまったのか

・ソフトできるからインフラできるやろ
という担当者(ワイ)、上司の慢心だったと思っています。
特に、
・ソフトはエラー出てもやり直し聞くからトライアンドエラーでやればいい
という意識でインフラをやると、
「他人にまで迷惑をかける」
という意識・認識が全体的に足りていなかったと思います。

惨劇を起こさないためにできること

解決方法:自分だけで処理せずに有識者に助言を求めましょう。

自分が全てのレイヤーの考え方と課題感を意識できていて、
それに対処できれば問題は出ないのですが、
そんなことをできる人はいません。

特に、若いときは「デキる」と判断しがちですが、
レイヤーが違うとそもそもの判断基準が違うということを知ることが大切です。

よく、
・ハードウェア
・インフラ
・ソフトウェア(アプリ)
と階層分けされていますが、
周辺への影響度の違いも含めて階層分けされていると思うので、
若い方はそれぞれのレイヤーで影響が出た場合の影響範囲とリカバリ方法を
真摯に検討してから業務に挑む必要があると思います。
特に、レイヤーを超える場合は、
影響の出方やリカバリ方法のポリシーが違うので、
有識者の方へ相談したほうがいいと思います。

また、上司が理解してくれない場合は、
他のレイヤーの有識者の意見をいれてきちんと
リスクの説明を行いましょう。
(メリットとリスクの判断は上司の責任です)

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?