Linuxプロセスのメモリ共有率を計算する

LinuxプロセスのCopy on Writeによるメモリ共有率を計算するプログラム。

こちらのエントリーと

• Linux のプロセスが Copy on Write で共有しているメモリのサイズを調べる

上記エントリー内で参照されている

• Perl：forkしたプロセス間でのメモリ領域の共有

を参考にして、紹介されている Linux::Smaps モジュールを利用したPerlのプログラムをPythonで書いてみました。外部モジュールのインストールなしで動作するので使いやすいかと思います。Python 2.6系以上で動作することを確認しています。

# !/usr/bin/env python
  
import sys

def read_smaps(pidlist):
    try:
        print("PID\tRSS\tSHARED\t\tNONE_SHARED")
        mem = lambda t, f: int(f[1]) if f[0] == '%s:' % t else 0.0
        for pid in pidlist:
            filename = "/proc/%s/smaps" % pid
            with open(filename) as f:
                rss = 0.0
                shared = 0.0
                for line in f:
                    fields = line.split()
                    rss += mem('Rss', fields)
                    shared += mem('Shared_Clean', fields)
                    shared += mem('Shared_Dirty', fields)
                print("%s\t%d\t%d (%.2f%%)\t%d" %
                      (pid, rss, shared, shared/rss*100, rss - shared))
                      
    except IOError as e:
        print(e)
  
if __name__ == '__main__':
    if len(sys.argv) < 2:
        print("usage: %s [pids]" % __file__)
        sys.exit(-1)
          
    read_smaps(sys.argv[1:])

• 使用例

$ sudo ./read_smaps.py
usage: ./read_smap.py [pids]

## PIDのリストをpgrepコマンドで指定して、プログラムのメモリ使用量(共有率)を計算する
$ sudo ./read_smaps.py `pgrep train_model.py`
PID     RSS     SHARED          NONE_SHARED
23241   330396  202516 (61.29%) 127880
23246   414720  202476 (48.82%) 212244
23247   414836  202480 (48.81%) 212356
23248   414196  202440 (48.88%) 211756

RSSがプロセスのメモリ使用量、SHAREDが共有されているメモリ使用量(共有率)、NONE_SHAREDが共有されていないメモリ使用量を表しています。上記の例はPython(using scikit-learn)で書いたマルチプロセスで回帰の学習と交差検証を行うプログラムのメモリ共有率を調べたものですが、だいたい50%前後のメモリを共有していることが読み取れます。

/proc/{PID}/smaps ファイルの中身を読むだけの簡単なプログラムなので、AWKで書いている方もWeb上にたくさんいらっしゃるようです。仕事柄、データサイエンスや要素技術系はPythonで書くことが多いので、ここでも多少使い慣れているPythonで書きました。最近はこっそりGo言語の勉強して、書き捨てのコードは業務でもGoで書いたりしてますけども。