ELB に繋がった稼働中システムをスケールダウンする時のオペレーションフロー

概要

複数台のEC2がELBに接続されてるシステムにおいて、ローリングでEC２をスケールダウンする際のオペレーションフローをまとめてみました。
あくまでインフラ・ミドルウェアのフローなので、実際にはここにアプリケーションに必要な手順が入ることになります。

フロー

スケールダウン対象のインスタンスを ins とします。

1. 要件確認
2. 影響範囲確認
   • 現状の負荷が、一台切り離しても耐えうるものなのかを確認
3. フロー確認
4. チーム内周知
5. 作業報告
6. 監視をメンテナンスに
   • 対象ホストがメンテナンス状態になっていることを確認
7. ins が現状実際にロードバランシング対象になっていることを確認
   • AWS コンパネから ELB の設定とヘルスチェックの状態を確認
   • ins にログインし、アクセスログを見て、アクセスが来ていることを確認
8. ins を LB から切り離し
   • AWS コンパネで切り離されていることを確認
   • ins にログインし、アクセスログから、アクセスが来ていないことを確認
9. LB につながっている他のインスタンスの負荷を確認
   • Zabbix 等でモニタリング
10. ins のプロセスを停止
    • ins にログインし、プロセスを停止
    • ps コマンドなどでプロセスが停止していることを確認
11. ins を停止
    • ins にログインし、他ユーザがログインしていないことを確認(w コマンド)
    • コマンドでインスタンスを停止(sudo shutdown -h now)
12. ins のインスタンスタイプを変更
13. ins を起動
    • コンパネから起動
    • ins にログインし、インスタンスタイプが変わっていることを確認(sudo cat /proc/meminfo;)
    • 必要なプロセスが起動していることを確認
    • localhost でアクセスできるか確認(curl localhost:80)
    • ネットワークの port listen を確認（sudo netstat -tunplo）
    • Unix Domin Scoket の確認(sudo netstat -xnplo)
14. LB に ins を追加
    • コンパネから LB の状態を確認し、ins が追加されていることを確認
    • コンパネ上でヘルスチェックが正常なのを確認
    • ins にログインし、アクセスログからアクセスが来ていることを確認
15. LB につながっている他のインスタンスの負荷を確認
    • Zabbix 等でモニタリング
16. 7 に戻って他のインスタンスにも適用
17. 監視をメンテナンスモードから戻す
18. 作業完了報告