1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

本番機で油断してPSOD出しちゃった

Posted at

#はじめに
現在Qiitaにて「本番環境でやらかしちゃった人 Advent Calendar 2019」(https://qiita.com/advent-calendar/2019/yarakashi-production )が開催中です.私も毎日記事を読ましていただき,勉強をさせていただいています.

さて,私は本番環境...ではなくその一歩前の本番機の構築時に大きな失敗をしてしまった経験があります.当カレンダーに書くほど私が文才があるわけではないので,こっそりと投稿させていただきます.

#概要
どんな環境を構築していたかというと,仮想基盤(PoweredgeにてESXi)です.
導入する環境がVLAN が設定されており,最終的にホストのManagement Network にVLAN IDを設定する必要がありました.しかし,近くにVLAN 対応のスイッチがなく,まぁ最後に設定入れればいいかと思い設定していました.
※この油断が原因で大変な思いをして,結局スイッチ借りてきてVLAN の設定をしました.
環境の概要については https://qiita.com/ydetectiveu007/items/32790e9eece199a7a81a を参照してください.

とにかく,VLAN の設定がなにもされていないスイッチを使い,ESXiの設定をしていました.
設定自体は以下を設定しました.

  • iDRAC
  • ESXiホスト
  • ネットワーク
  • ストレージ
  • OMSA

ここで,ネットワークの設定でVMKernel という仮想マシン以外で使用するネットワークの設定(例えば,ESXi ホスト自身へのアクセス,ストレージへのアクセス,vMotionなど)をしていました.簡単に書くと以下のような形です.

vmk IPアドレス 備考
vmk0 192.168.0.1 Management Networkアクセス用.VLAN IDを設定する必要がある
vmk1 192.168.1.1 ストレージアクセス用
vmk2 192.168.2.1 ストレージアクセス用
vmk3 192.168.3.1 ストレージアクセス用
vmk4 192.168.4.1 ストレージアクセス用
vmk5 192.168.5.1 vMotion用

このようにESXi のWeb UIを使ってvmkを設定し,最後にDCUIでvmk0 にVLAN を設定しました.
すると...

#なにが起きたか
なんとホストのIPアドレスが本来ストレージアクセス用に設定したvmk1 のIPアドレスである 192.168.1.1 に変更されてしまいました.

#その後の展開
IPアドレスが何の予告もなく勝手に変更されてしまい,とにかくパニックになりました.(しかも本当に最後の最後だったので,ショックも大きかった)
何とか元の設定に戻そうとしてIPアドレスを変えようとしたり,Management Network に割り当てられているネットワークアダプターも変わってしまっていたので,それを戻そうとしました.しかし,以下のようなメッセージが出力されて元に戻ることはありませんでした.
※搬入直前でスケジュールに余裕がなかったこと,もう終わりだという安堵感からこの状態に陥ったこともありちゃんとしたオペレーションは覚えていませんでした.

出力されたメッセージたち
Enable Management Network: Error
Setting ip/ipv6 configuration failed: Unable to Set: Sysinfo error:
Address already in useSee VMkernel log for details.

Network Adapters: Warning
One or more of the selected adapters are already used for other connections.

Unable to Set: Sysinfo error: Network
unreachableSee VMkernel log for details

上記のようなメッセージ(特に一番上のメッセージ)は何回も出てきました.
多分,あなたが設定しようとしているIPアドレス(192.168.0.1)はほかのvmkで既に使われているため設定できないよ.というニュアンスだと思います.

#結果どうなったか
何回かネットワークの設定を戻そうと必死にもがいていると,ついにやつが現れました.
ESXi 界のブルースクリーンことPSOD (Purple Screen of Death: https://kb.vmware.com/s/article/2150124) です.
うわさには聞いていましたが,鮮やかな紫色でした.そして,これを自分が操作している本番機の目の前で見ることになるとは夢にも思いませんでした.

#どう対応したか
再起動です.どうにもならなくなった時の再起動,やはり最強です.再起動したおかげで,IPアドレスは変わったままでしたが,何とか無事に起動しました.
(本番環境でなくてよかった...)

#最終的には
どのようにオペレーションしたのか詳しく覚えていませんが,IPアドレスを元に戻すことに成功しました.そして,スイッチを借りてきてVLAN を作成し,無事に設計通りのパラメータにすることができました.
(実はもうひと悶着ありましたが)

#なぜこのようなことが起きたか
詳しくはググってもよくわかりませんでしたが,からであると推測します.
今回VLAN を設定したことにより,スイッチにVLANが設定されておらず,ホストのIPアドレスに接続できなくなってしまうので,それではまずいとESXiが判断し,ほかの接続できるvmkのIPアドレスを自動的にホスト自身のIPアドレスに変更してしまったのではないかと推測しています.

上記仕様を知らなかったこと,それ以上に本番環境と同じ,もしくは近い環境の構築を怠った自分の油断というか怠惰が原因であると考えています.

今後は検証や構築の際,本番環境と同じ環境を構築するよう心がけます.
(でないと思わぬ製品の仕様で今回のように痛い目に遭ってしまう...)

#今回学んだこと
いろいろ学びました.

  • ESXiでVLANを設定するときは最初にVLAN の環境を構築しておくこと(最後に痛い目見る)
  • PSODになったら再起動すること
  • iDRACにクラッシュした際の情報が保存されている(後から気づいた)
  • ★環境構築は本番に可能な限り近い環境を用意するよう努力すること(一番大事)

以上です.このような事例はググっても特に出てこなかったので,こんなミスするのは私くらいのようなものらしいですが,本記事の内容がどなたかの助けになれば幸いです.

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?