Dockerコンテナの稼働状況をシステムコールレベルで掘り下げて確認できるSysdigを使ってみた

先日開催されたSysdig meetup Tokyo #1に参加してきました。かなりマニアックで面白そうなツールだったので、早速使ってみました。
基本的な部分しか触れてないですが紹介します。

Sysdigとは？

https://www.sysdig.org
コンテナ環境でのトラブルシューティングに使えるモニタリングツールです。
コンテナが稼働するホストに導入し、ホスト側のsystem callレイヤの情報を収集し、分析できるようになります。straceとtcpdumpを組み合わせたような情報がもりもり取れます。
収集した情報をグラフィカルに表示するUIも用意されています。
今のところあまり日本語情報は少ないですが、5年ほど前から提供はされているようです。

Sysdigの基本構成

Sysdig

これがもっとも基礎となるコマンドで、情報を集める役割を担います。
sysdig -w でsystem callの情報や通信情報をキャプチャしてファイル保存します。
sysdig -r で保存したファイルから情報を読み取り出力します。

Csysdig

csysdigは、コマンドライン上でリアルタイムに状況を表示するツール。topコマンドで稼働状態をみるようなイメージのツールです。
リアルタイムで状況を見れるだけでなく、sysdigで収集したファイルの情報を見る目的でも使えます。

Sysdig inspect

sysdigで収集した情報をGUIで表示するツール。
デスクトップアプリケーションで、Linux、MacOSに対応しています。Windows版は現時点ではなさそうな感じです。

Chisels

sysdigで収集したデータに対して、値の計算とか統計情報を算出するスクリプト群です。
詳細は後述します。

Tracers

sysdigの収集データに対して特定の処理をトレースできるよう、収集イベントに開始点と終了点を定義して管理できるようにする仕組みです。

Sysdig falco

sysdigで収集可能なイベントに対してルールを定義して、特定の事象が発生したことを検知して通知するagent型のツールです。(これは次回の記事で別途紹介予定)

インストール

以下の環境に導入してみました。
詳細はこちら

• Dockerホスト　← sysdig
  • Amazon Linux
• クライアントPC ← sysdig inspect
  • MacOSX

sysdigインストール

sysdigは各ホストOS上にインストールする必要があるので、Dockerホスト環境のAmazonLinuxに導入。

基本的には以下のコマンド一発で入るようです。

curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig  | sudo bash

しかし、今回試したAmazonLinux環境では、kernelのバージョンと、kernel-headersのバージョンが異なるためにエラーが出て動かなかったです。

error opening device /dev/sysdig0. Make sure you have root credentials and that the sysdig-probe module is loaded.

このWikiにある通り、kernelのバージョンとkernel-header,kernel-develのバージョンが違う場合、sysdigの実行ができません。
なので、kernelをバージョンアップする、もしくはkernel-headerの古いバージョンを入れる等で対処する必要あるようです。

AmazonLinux上だと、以下のようにひとまずアップデート

yum install kernel
shutdown -r now

再起動後はちゃんと使えるようになります。
これで完了です。

ちなみに、MacOSも対応しているということで導入してみたのですが、後述のsysdig -wで情報を収集して書き出す処理は対応してないようでした。

% sysdig                                                                                                                                                      
live capture not supported on Darwin

ちなみに、sysdigをインストールするとcsysdigコマンドも使える状態になっています。

sysdig inspect

次に、GUIのsysdig inspectを導入してみます。
詳細はこちら
インストーラが用意されているので基本的には導入するだけです。
LinuxについてはGUIを使うことになるのでデスクトップ系のパッケージが必要です。
今回はMacOS上にインストーラを使ってインストールしました。

インストール完了後、sysdig inspectを起動できるのですが、何故かうまくデータの読み込み表示ができなかったのでMacOS自体を再起動させると使える状態になりました。

使ってみる

sysdig

まずはDockerホスト上でsysdigを実行してキャプチャしてみます。

$ sysdig -w sample.scap &

これだけで全情報をsample.scapというファイルに吐き出します。キャプチャファイルは、数秒で数十MBぐらいに膨れ上がるので、実際使うときは、以下のようにオプションを指定して、永遠にデータが蓄積されてしまわないように調整が必要です。

$ sysdig -w sample.scap -C 10 -W 5 &

• -C: 1ファイルのサイズを10MBまでにリミットをかける
• -W: 保持するファイルは5ファイルまでにリミットをかける

できあがったファイルはこんな感じになります。

# ls -lh sample.*
total 330M
-rw-r--r-- 1 root root 5.9M Feb 27 23:54 sample.scap0
-rw-r--r-- 1 root root 9.6M Feb 27 23:53 sample.scap1
-rw-r--r-- 1 root root 9.6M Feb 27 23:54 sample.scap2
-rw-r--r-- 1 root root 9.6M Feb 27 23:54 sample.scap3
-rw-r--r-- 1 root root 9.6M Feb 27 23:54 sample.scap4

5ファイルがいっぱいになると、0から順に上書いて吐き出し続けます。

次に出力されたファイルを読み込んで特定の情報だけを取り出してみます。
例えば、javaのプロセスの情報のみを取り出す場合は以下のように実行

$ sysdig -r sample.scap0 proc.name=java
・・・略
149277 00:11:22.148062767 0 java (4153) > futex addr=7FEFA111D8E4 op=137(FUTEX_PRIVATE_FLAG|FUTEX_WAIT_BITSET) val=1
149278 00:11:22.148067328 0 java (4153) > switch next=28576(rpm) pgft_maj=0 pgft_min=58 vm_size=3225664 vm_rss=456352 vm_swap=0
158972 00:11:22.172189133 0 java (3529) < futex res=-110(ETIMEDOUT)
158973 00:11:22.172193827 0 java (3529) > futex addr=7FEFA0105128 op=129(FUTEX_PRIVATE_FLAG|FUTEX_WAKE) val=1
158974 00:11:22.172194639 0 java (3529) < futex res=0
158978 00:11:22.172207287 0 java (3529) < clock_gettime
158979 00:11:22.172208134 0 java (3529) > clock_gettime
・・・略

proc.name=javaの部分がフィルタリングの指定です。
sysdig -wで情報収集・書き出し時にもこのフィルタリングは有効です。
どんなフィルタリングが可能かについては、以下のコマンドで確認可能です。

$ sysdig -l
----------------------
Field Class: fd

fd.num          the unique number identifying the file descriptor.
fd.type         type of FD. Can be 'file', 'directory', 'ipv4', 'ipv6', 'unix',
                 'pipe', 'event', 'signalfd', 'eventpoll', 'inotify' or 'signal
                fd'.
fd.typechar     type of FD as a single character. Can be 'f' for file, 4 for IP
                v4 socket, 6 for IPv6 socket, 'u' for unix socket, p for pipe,
                'e' for eventfd, 's' for signalfd, 'l' for eventpoll, 'i' for i
                notify, 'o' for unknown.
fd.name         FD full name. If the fd is a file, this field contains the full
                 path. If the FD is a socket, this field contain the connection
                 tuple.
・・・略

例えば、特定のコンテナ(以下例の場合、rancher-agentという名称のコンテナ)の情報だけを見たければ、

$ sysdig -r sample.scap0 container.name=rancher-agent
22478 00:11:21.131303307 0 agent (5419) < futex res=-110(ETIMEDOUT)
22479 00:11:21.131307832 0 agent (5419) > clock_gettime
22480 00:11:21.131308741 0 agent (5419) < clock_gettime
22481 00:11:21.131310968 0 agent (5419) > futex addr=F76358 op=1(FUTEX_WAKE) val=1
22482 00:11:21.131315083 0 agent (5419) < futex res=1
22483 00:11:21.131316546 0 agent (5419) > clock_gettime
22484 00:11:21.131316850 0 agent (5419) < clock_gettime
22485 00:11:21.131321364 0 agent (5419) > futex addr=C420282110 op=1(FUTEX_WAKE) val=1
22486 00:11:21.131323507 0 agent (5419) < futex res=1
22487 00:11:21.131324067 0 agent (5419) > clock_gettime

こんな具合です。

csysdig

コマンドライン上からcsysdigを起動してみます。

$ csysdig

topコマンドで見るような感じの画面が表示されます。
この状態で、F2でViewの選択ができます。

ここで例えば、Containersを選択すると、以下の図のように、このホスト上で稼働するコンテナの情報だけが表示されます。

さらに、特定のコンテナの中の状態を確認したければ該当のコンテナの情報を選択してEnter

コンテナで稼働するプロセスの情報が見れます。
こんな感じで情報を深掘りして調査できます。

sysdig inspect

MacOSにインストールしたsysdig inspectのアプリを起動すると以下の図のような画面が表示されます。

sysdig inspectはscapのファイルを読み込んでグラフィカルに表示してくれます。
先程取得したsample.scap0のファイルをオープンしてみるとこんな感じで表示されます。

GUI上で状況の全体が把握できます。

左側のView欄からみたいものを選択すると様々な情報が見れます。基本的には先程のcsysdigで見れる情報をそのままGUIで表示できるような感じです。

I/Oの流れ、システムコールの流れもそれぞれ見れます。

Chisels

sysdigコマンドのオプションで-cをつけることでChiselsの様々なスクリプト処理が実現できます。

例えば、fileの読み書きのバイト数の多い対象ファイルを集計して出力するtopfiles_bytesを使う場合は以下のような感じです。

$ sysdig -r sample.scap0 -c topfiles_bytes
Bytes               Filename
--------------------------------------------------------------------------------
15.97M              /usr/share/sysdig-inspect/libnode.so;5a95f3a2
6.94M               /root/sysdig-inspect-latest.x86_64.rpm
5.50M               /var/lib/mysql/ibdata1
475.34KB            /usr/share/sysdig-inspect/resources/app/ember-electron/backend/node_modules/mocha/mocha.js;5a95f3a2
333.13KB            /usr/share/sysdig-inspect/resources/app/ember-electron/backend/node_modules/chai/chai.js;5a95f3a2
326.02KB            /usr/share/sysdig-inspect/resources/app/ember-electron/backend/node_modules/nodemon/package-lock.json;5a95f3a2

フィルタ条件で絞り込んだ上での集計も可能です。
上記のような結果に対して、ファイル名にinspectを含まないものだけの読み書きバイト数を出力してみます。

$ sysdig -r sample.scap0 -c topfiles_bytes　"not fd.name contains inspect"
Bytes               Filename
--------------------------------------------------------------------------------
5.50M               /var/lib/mysql/ibdata1
35.71KB             /proc/cmdline
33.98KB             /dev/.udev/queue.tmp
12.50KB             /var/lib/mysql/ib_logfile0
1.62KB              /usr/lib/x86_64-linux-gnu/libnetfilter_conntrack.so.3
1.62KB              /lib/x86_64-linux-gnu/libc.so.6

Chiselsでどんなものが使えるかについては以下のコマンドで確認可能。

$ sysdig -cl
Category: Application
---------------------
httplog         HTTP requests log
httptop         Top HTTP requests
memcachelog     memcached requests log

Category: CPU Usage
-------------------
spectrogram     Visualize OS latency in real time.
subsecoffset    Visualize subsecond offset execution time.
topcontainers_cpu
                Top containers by CPU usage
topprocs_cpu    Top processes by CPU usage

Category: Errors
----------------
topcontainers_error
                Top containers by number of errors
topfiles_errors Top files by number of errors
topprocs_errors top processes by number of errors

Category: I/O
-------------
echo_fds        Print the data read and written by processes.
fdbytes_by      I/O bytes, aggregated by an arbitrary filter field
fdcount_by      FD count, aggregated by an arbitrary filter field
fdtime_by       FD time group by
iobytes         Sum of I/O bytes on any type of FD
iobytes_file    Sum of file I/O bytes
spy_file        Echo any read/write made by any process to all files. 
・・・略

Tracers

開始点と終了点を任意でユーザがマーキングできます。
記録方法がおもしろいです。指定のフォーマットのテキスト情報を/dev/nullに吐き出せば勝手にsysdigがtrace情報だと認識してくれます。
フォーマットの詳細はこちらを参照。

例えば、ID 123、タグ名 tagsampleといった情報でマーキングしてみます。

sysdigで処理を記録中に、以下のコマンドを実行します。

$ echo ">:123:tagsample::"　> /dev/null
少し間をおいて
$ echo "<:123:tagsample::" > /dev/null

結果をcsysdigで見てみます。Viewで「Traces List」をすると、先程/dev/nullに吐き出したtagsampleのtrace情報が出てきます。
「＞」で開始した点と「＜」で終了した点が1つの区間(span)として扱われているのがわかります。

この機能を使えば、トラブル時の調査で特定の処理の箇所にマーキングしてたどるのが容易になりそうです。

まとめ

今回はここまで。
sysdigでの情報の収集のやり方と、その結果の見方の基礎を試してみました。今回紹介した機能の範囲だと、Zabbixとかで行うような「監視」というよりは「調査」用のツールという印象が強いです。
今回紹介できなかったSysdig Falcoはあらかじめルールを決めて、何か発生したときに通知を行うことができるツールなので、定常的な運用に仕込むにはSysdig Falcoが重要なポイントになってきそうです。
Sysdig Falcoは次回試してみます。

ここまで大量のデータが集まると、全ての挙動がわかりそうですが、どこをどう見てどう判断していくかはかなりレベル高そうです。。