はじめに

今、カオスエンジニアリングについてキャッチアップしていて、そのメモの一部です。まずはわかりやすいインフラ(Linux)からです。

カオスエンジニアリングとは実際に稼働している本番システムの一部に模擬障害を発生させて、自動復旧させる強いシステムを作り上げていく、障害発生に備える運用技術の手法です。

負荷試験でLinuxでCPUに負荷をかける場合は、 Linuxのターミナルで yes コマンドを使って、そして１回の実行では負荷が足りないので、yesコマンドを連打しますよね。

yes > /dev/null &
yes > /dev/null &
・
・・
・・・
yes > /dev/null &

この投稿は、 yes コマンドの代わりにカオスエンジニアリングツールのGremlinを使ってLinuxのCPUに負荷をかけてみたという話になります。

そして、負荷をかけた時の確認をこの投稿では htopで確認します。

前提

以下の２つを準備

Gremlinのアカウント
Ubuntuの環境
カオスエンジニアリングの簡単な理解
→以下のSpeakerDeckの「2.カオスエンジニアリング超入門」がわかりやすいと思います。
https://speakerdeck.com/katahiro12345/2-dot-kasuenziniaringuchao-ru-men

Gremlinのアカウントの作成

Gremlinのホームページにて、Free版でアカウントを作成
URL : https://www.gremlin.com/
Gremlinに作成したアカウントでログイン
Team IDと Secret Keyの取得
この後、UbuntuにGremlinのDaemonをインストールする際に使用します。画像の①、②、③の順番にクリックして Team ID と Secret Keyをコピーして保存しておいてください。

Gremlin クライアントとデーモンのインストール

(参考) Ubuntu上にインストール
https://www.gremlin.com/community/tutorials/how-to-install-and-use-gremlin-on-ubuntu-18-04/

手順

1 Gremlin リポジトリの追加

echo "deb https://deb.gremlin.com/ release non-free" | sudo tee /etc/apt/sources.list.d/gremlin.list

2 GPG keyのインポート

$ sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys

3 Gremlinクライアントとデーモンのインストール

$ sudo apt-get update && sudo apt-get install -y gremlin gremlind

4 Gremlinの初期設定
gremlin initコマンドを実行して色設定を行います。
Team ID と Team Secretは Gremlinのアカウント作成した際にメモをとったTeam ID と Team Secretの値を入力します。

$ gremlin init
Metadata set for [ gremlin-client-version: 2.22.0 ]
Metadata set for [ os-type: Linux ]
Metadata set for [ os-name: Ubuntu ]
Metadata set for [ local-ip: IPアドレスが自動表示 ]
Metadata set for [ local-hostname: ホスト名が自動表示 ]
Please input your Team ID: "<チームIDを入力>
Please input your Team Secret: "<シークレットキーを入力>"

これで、Ubuntuに Gremlinのエージェントとデーモンのインストールが終了しました。

次は、Gremlinのポータル画面から、実際に　Ubuntuに対して、CPUの負荷をかけて攻撃してみましょう。

Gremlinを使って UbuntuにCPUの負荷をかける実験をやってみる

Ubuntuの負荷の状況を確認

まず、下図は、実験をする前のUbuntuで htopコマンドを実行すると、下図の上部の 1から16までは、全て 0.0%で　無風の状態であることがわかります。
下図のCreate Attackボタンをクリックして、攻撃を作成します。
まず、攻撃対象を設定します。

上図のWhat do you want to target で ①Infrastrucre、②Hostsを選択しホストの中から攻撃対象を選べるようにします。
次に、Choose Hosts to targetをクリックし、今回は③local-hostでホスト名で対象を選択しました。
攻撃の種類を選択します。

上図のCategoryの中から今回は①Resourceと Atacksからは②CPUを選択しました。
次にCPUで攻撃するための期間やコア数などの詳細を設定します。

ここでは上図の①から③の設定を以下の様にし、1日間、仮想マシンのCPU14コアに対して、90％負荷をかけるシナリオをにしました。
- Length : 攻撃する期間 (秒）　ここでは1日 86,400秒を入力
- CPU Capacity : 1コアあたりのCPUの使用率ここでは90%を入力
- Cores : 負荷をかける対象のコア数ここでは14コアを入力
これで、Ubuntuに攻撃をする準備が整いました。
下図のUnleash Gremlinボタンをクリックして、Ubuntuへの攻撃を開始します。
Ubuntuへの攻撃が始まり、Gremlinのポータル画面では、CPU使用率のグラフが時系列順に表示される様になります。
Ubuntuのhtopの画面では、負荷が掛かっているのがわかります。

ポイントとして、
- 赤枠①では、Gremlinのポータルで設定した１４コアに約90%の負荷がかかっています。
- 赤枠②では、gremlin attack cpu -l 86400 -c 14 -p 90と GremlinのClientを使って負荷をかけているのがわかります。