#はじめに
現在Qiitaにて「本番環境でやらかしちゃった人 Advent Calendar 2019」(https://qiita.com/advent-calendar/2019/yarakashi-production )が開催中です.私も毎日記事を読ましていただき,勉強をさせていただいています.
さて,私は本番環境...ではなくその一歩前の本番機の構築時に大きな失敗をしてしまった経験があります.当カレンダーに書くほど私が文才があるわけではないので,こっそりと投稿させていただきます.
#概要
どんな環境を構築していたかというと,仮想基盤(PoweredgeにてESXi)です.
導入する環境がVLAN が設定されており,最終的にホストのManagement Network にVLAN IDを設定する必要がありました.しかし,近くにVLAN 対応のスイッチがなく,まぁ最後に設定入れればいいかと思い設定していました.
※この油断が原因で大変な思いをして,結局スイッチ借りてきてVLAN の設定をしました.
環境の概要については https://qiita.com/ydetectiveu007/items/32790e9eece199a7a81a を参照してください.
とにかく,VLAN の設定がなにもされていないスイッチを使い,ESXiの設定をしていました.
設定自体は以下を設定しました.
- iDRAC
- ESXiホスト
- ネットワーク
- ストレージ
- OMSA
ここで,ネットワークの設定でVMKernel という仮想マシン以外で使用するネットワークの設定(例えば,ESXi ホスト自身へのアクセス,ストレージへのアクセス,vMotionなど)をしていました.簡単に書くと以下のような形です.
vmk | IPアドレス | 備考 |
---|---|---|
vmk0 | 192.168.0.1 | Management Networkアクセス用.VLAN IDを設定する必要がある |
vmk1 | 192.168.1.1 | ストレージアクセス用 |
vmk2 | 192.168.2.1 | ストレージアクセス用 |
vmk3 | 192.168.3.1 | ストレージアクセス用 |
vmk4 | 192.168.4.1 | ストレージアクセス用 |
vmk5 | 192.168.5.1 | vMotion用 |
このようにESXi のWeb UIを使ってvmkを設定し,最後にDCUIでvmk0 にVLAN を設定しました.
すると...
#なにが起きたか
なんとホストのIPアドレスが本来ストレージアクセス用に設定したvmk1 のIPアドレスである 192.168.1.1 に変更されてしまいました.
#その後の展開
IPアドレスが何の予告もなく勝手に変更されてしまい,とにかくパニックになりました.(しかも本当に最後の最後だったので,ショックも大きかった)
何とか元の設定に戻そうとしてIPアドレスを変えようとしたり,Management Network に割り当てられているネットワークアダプターも変わってしまっていたので,それを戻そうとしました.しかし,以下のようなメッセージが出力されて元に戻ることはありませんでした.
※搬入直前でスケジュールに余裕がなかったこと,もう終わりだという安堵感からこの状態に陥ったこともありちゃんとしたオペレーションは覚えていませんでした.
Enable Management Network: Error
Setting ip/ipv6 configuration failed: Unable to Set: Sysinfo error:
Address already in useSee VMkernel log for details.
Network Adapters: Warning
One or more of the selected adapters are already used for other connections.
Unable to Set: Sysinfo error: Network
unreachableSee VMkernel log for details
上記のようなメッセージ(特に一番上のメッセージ)は何回も出てきました.
多分,あなたが設定しようとしているIPアドレス(192.168.0.1)はほかのvmkで既に使われているため設定できないよ.というニュアンスだと思います.
#結果どうなったか
何回かネットワークの設定を戻そうと必死にもがいていると,ついにやつが現れました.
ESXi 界のブルースクリーンことPSOD (Purple Screen of Death: https://kb.vmware.com/s/article/2150124) です.
うわさには聞いていましたが,鮮やかな紫色でした.そして,これを自分が操作している本番機の目の前で見ることになるとは夢にも思いませんでした.
#どう対応したか
再起動です.どうにもならなくなった時の再起動,やはり最強です.再起動したおかげで,IPアドレスは変わったままでしたが,何とか無事に起動しました.
(本番環境でなくてよかった...)
#最終的には
どのようにオペレーションしたのか詳しく覚えていませんが,IPアドレスを元に戻すことに成功しました.そして,スイッチを借りてきてVLAN を作成し,無事に設計通りのパラメータにすることができました.
(実はもうひと悶着ありましたが)
#なぜこのようなことが起きたか
詳しくはググってもよくわかりませんでしたが,からであると推測します.
今回VLAN を設定したことにより,スイッチにVLANが設定されておらず,ホストのIPアドレスに接続できなくなってしまうので,それではまずいとESXiが判断し,ほかの接続できるvmkのIPアドレスを自動的にホスト自身のIPアドレスに変更してしまったのではないかと推測しています.
上記仕様を知らなかったこと,それ以上に本番環境と同じ,もしくは近い環境の構築を怠った自分の油断というか怠惰が原因であると考えています.
今後は検証や構築の際,本番環境と同じ環境を構築するよう心がけます.
(でないと思わぬ製品の仕様で今回のように痛い目に遭ってしまう...)
#今回学んだこと
いろいろ学びました.
- ESXiでVLANを設定するときは最初にVLAN の環境を構築しておくこと(最後に痛い目見る)
- PSODになったら再起動すること
- iDRACにクラッシュした際の情報が保存されている(後から気づいた)
- ★環境構築は本番に可能な限り近い環境を用意するよう努力すること(一番大事)
以上です.このような事例はググっても特に出てこなかったので,こんなミスするのは私くらいのようなものらしいですが,本記事の内容がどなたかの助けになれば幸いです.