AWS
EC2
t2
t3

t2インスタンスからt3インスタンスへインスタンスタイプの変更 失敗談

環境

  • CentOS7 7.4.1708
  • t2.micro

手順

事前確認作業

  • OS側の対応確認

$ modinfo ena

  • ENAに対応済か
aws ec2 describe-instances --instance-id i-**** --query 'Reservations[].Instances[].EnaSupport'
  • Trueが返ってくるので有効化が完了している

AMIのバックアップ作成

  • インスタンスを停止して、マネージメントコンソールから右クリック、「イメージの作成」で完了

トラブル

  • ステータスチェックで「初期化しています」が5分ほど続く
  • 「1/2のチェックに合格しました」で警告が出る
  • ssh/ping通じず
  • マネージメントコンソールから「システムログを取得」
    • Emergency Modeに入ってしまっている

トラブルシューティング(10/10 アップデート)

  • Elastic IPとの関連を外してみた
    • ×関係無し
  • t3.microへの変更を辞めて、m5.largeに変更してみた
    • ×関係無し
  • バックアップで取得したAMIからt3.microの起動
    • xこちらも同じ症状
  • フォーラムを見ても情報が無い、、、

  • コメント頂いた下記を参考に、dracutの設定を変更  (yuuitiro様ありがとうございます!!)

  • 起動時のサービスに当たりをつけて、ログを再チェック

    [[1;33mDEPEND[0m] Dependency failed for File System Check on /dev/xvdb.
    [[1;33mDEPEND[0m] Dependency failed for /mnt/www.
    [[1;33mDEPEND[0m] Dependency failed for NFS server and services.
    [[1;33mDEPEND[0m] Dependency failed for NFSv4 ID-name mapping service.
    [[1;33mDEPEND[0m] Dependency failed for NFS Mount Daemon.
    [[1;33mDEPEND[0m] Dependency failed for Local File Systems.
    [[1;33mDEPEND[0m] Dependency failed for Migrate local... structure to the new structure.
    [[1;33mDEPEND[0m] Dependency failed for Relabel all filesystems, if necessary.

    • fstabおまえか!fstabを無効にして、t3へインスタンス変更
    • 起動OK!
    • 起動後のドライブの状況を確認 /dev/xvda、/dev/xvd1、/dev/xvdbが無くなってる事を確認
    • dfでボリューム名が何になってるか確認 /が/dev/nvme0n1p1になってる!
    • fstabに/dev/nvme1n1を既存のフォルダにマウントで完了!
  • 新世代SSDはNVMeになるのですね。

参考

ステータスチェックに失敗したインスタンスのトラブルシューティング
https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/TroubleshootingInstances.html

カスタムして作った CentOS7.4 をAWSの M5, C5 で動かすときに落ちた沼について書いておく
http://t-cyrill.hatenablog.jp/entry/2018/04/18/091832

NVMe をわかりやすく解説します
https://tintri.co.jp/blog/2017/03/nvme