はじめに
この記事は朝日新聞社 Advent Calendar 2023の15日目の記事です。
題名の通り、みんなが（知っているのかどうかを筆者が）知らないPythonプロファイラ Scalene について紹介します。
プロファイラとは
プロファイラはコードのパフォーマンスの計測・分析のためのツールで、パフォーマンス改善やバグの発見などに役立ちます。関数レベルで計測できるもの、行レベルで計測できるものなど様々ありますが、筆者がよく使っていたのは下記のツールでした。
line_profiler
行レベルで実行時間や実行回数を計測できるツールです。
memory_profiler
こちらはメモリ使用量の計測のためのツールです。line_profiler同様、行レベルで計測できます。
上記については下記などが参考になります。
Scaleneでできること
それでは本題のScaleneについて紹介します。
ScaleneはPython用の高性能なCPU/GPU/メモリプロファイラで、他のPythonプロファイラよりも高機能で高速なツールです。
メモリに加えてGPUの計測、システム時間（スリープやI/O）の計測などにも対応しており、オンリーワンのツールであることがわかります。
（なのですが、日本語の記事は見たことがない...）
https://github.com/plasma-umass/scalene?tab=readme-ov-file#performance-and-features
後で紹介しますが、出力はGUIで確認できたり、JSON/HTMLファイルに書き出したりと便利に使えます。
また、OpenAIのGPT-3.5/GPT-4を使ったコードの最適化提案機能もあります。要チェックですね。
使ってみる
pipでインストールします。
pip install scalene
※バージョンは検証時最新の1.5.31.1です。
今回は簡単に下記のコードで検証します。
# test.py
def sample_function():
total = []
for i in range(10 ** 8):
total.append(i)
return total
sample_function()
実行方法
コマンドラインで実行
scalene [options] your_program.py
オプションとして出力方法・項目などを指定します。
オプション一覧はこちら
-h, --help show this help message and exit
--version prints the version number for this release of Scalene and exits
--column-width COLUMN_WIDTH
Column width for profile output (default: 132)
--outfile OUTFILE file to hold profiler output (default: stdout)
--html output as HTML (default: web)
--json output as JSON (default: web)
--cli forces use of the command-line
--stacks collect stack traces
--web opens a web tab to view the profile (saved as 'profile.html')
--no-browser doesn't open a web tab; just saves the profile ('profile.html')
--viewer opens the Scalene web UI and exits.
--reduced-profile generate a reduced profile, with non-zero lines only (default: False)
--profile-interval PROFILE_INTERVAL
output profiles every so many seconds (default: inf)
--cpu profile CPU time (default: True )
--cpu-only profile CPU time (deprecated: use --cpu )
--gpu profile GPU time and memory (default: False )
--memory profile memory (default: True )
--profile-all profile all executed code, not just the target program (default: only the target program)
--profile-only PROFILE_ONLY
profile only code in filenames that contain the given strings, separated by commas (default: no restrictions)
--profile-exclude PROFILE_EXCLUDE
do not profile code in filenames that contain the given strings, separated by commas (default: no restrictions)
--use-virtual-time measure only CPU time, not time spent in I/O or blocking (default: False)
--cpu-percent-threshold CPU_PERCENT_THRESHOLD
only report profiles with at least this percent of CPU time (default: 1%)
--cpu-sampling-rate CPU_SAMPLING_RATE
CPU sampling rate (default: every 0.01s)
--allocation-sampling-window ALLOCATION_SAMPLING_WINDOW
Allocation sampling window size, in bytes (default: 10485767 bytes)
--malloc-threshold MALLOC_THRESHOLD
only report profiles with at least this many allocations (default: 100)
--program-path PROGRAM_PATH
The directory containing the code to profile (default: the path to the profiled program)
--memory-leak-detector
EXPERIMENTAL: report likely memory leaks (default: True)
--on start with profiling on (default)
--off start with profiling off
デフォルトでは実行時にブラウザが開き、GUIで結果が表示されます。
※ssh接続先で実行する場合、ブラウザに遷移することなく標準出力に出力されました。
コードの実行時間が短すぎるとScaleneによるプロファイリングは動かず、下記のエラーが表示されます。
Scalene: Program did not run for long enough to profile.
Jupyterで実行
Jupyterではマジックコマンドを使って実行します。
%load_ext scalene
# Line mode
%scrun [options] statement
# Cell mode
%%scalene [options]
your code here
Jupyterでの実行時にはメモリ計測はできません...。
Scalene extension successfully loaded. Note: Scalene currently only supports CPU+GPU profiling inside Jupyter notebooks. For full Scalene profiling, use the command line version.
ちなみにデコレータを使う方法やコード内に直接定義する方法もあります（詳しくはこちら）。
GUIで確認
下記を実行すると...
scalene test.py
結果はこんな感じ👇
（結果はprofile.htmlとして保存されており、そのHTMLが開かれているようです。）
各項目にカーソルを合わせると詳細な数字が確認でき、各列名をクリックすることで自由にソートもできます。
またここでは示されていませんが、動作環境にNVIDIA GPUがインストールされている場合、GPUの実行時間も計測できます。
さらに、上部のadvanced optionsからLLMによる最適化提案機能を設定できます。
OpenAIのAPIキーを入力し、モデルをGPT-3.5とGPT-4から選択します（残高がないとエラーするので注意）。
そしてコードに表示されている💥や⚡をクリックすると、こんな感じで書き換え案が提示されます🎉
また、Jupyterでもこのように結果が表示されますが、メモリ使用量などは取得できないのでコマンドラインから実行するのが吉です。
CLIで確認
下記を実行すると...
scalene --cli test.py
結果はこんな感じ👇
手軽に見たい場合はこれで十分ですね。
ファイルに出力
HTML
scalene --cli --html --outfile output.html test.py
--cliオプションを指定しないとブラウザで開かれてしまいます。
HTMLファイルはデフォルトでも生成されているので、出力ファイル名を指定したいときに使うとよさそうです。
JSON
scalene --cli --json --outfile output.json test.py
データをこねこねしたいときはJSONファイルに出力しましょう。
--cliオプションを指定しないとブラウザで開かれてしまうだけでなく、JSON形式で保存されなくなってしまうのでMUSTです。
出力されるJSON（一部省略）
{
"alloc_samples": 938,
"args": [
"test.py"
],
"elapsed_time_sec": 9.31862497329712,
"filename": "hogehoge",
"files": {
"hogehoge/test.py": {
"functions": [
{
"line": "Scalene.sample_function",
"lineno": 1,
"memory_samples": [...],
"n_avg_mb": 2890.0064544677734,
"n_copy_mb_s": 0.0,
"n_core_utilization": 0.10783966435646258,
"n_cpu_percent_c": 28.423653243865136,
"n_cpu_percent_python": 57.8480782413048,
"n_gpu_avg_memory_mb": 0.0,
"n_gpu_peak_memory_mb": 0.0,
"n_gpu_percent": 0,
"n_growth_mb": 2890.0064544677734,
"n_malloc_mb": 3813.505753517151,
"n_mallocs": 1,
"n_peak_mb": 2890.0064544677734,
"n_python_fraction": 0.9999966878476239,
"n_sys_percent": 13.728268514829912,
"n_usage_fraction": 1.0
}
],
"imports": [],
"leaks": {},
"lines": [
{
"end_outermost_loop": 5,
"end_region_line": 5,
"line": "def sample_function():\n",
"lineno": 1,
"memory_samples": [],
"n_avg_mb": 0.0,
"n_copy_mb_s": 0.0,
"n_core_utilization": 0.0,
"n_cpu_percent_c": 0.0,
"n_cpu_percent_python": 0.0,
"n_gpu_avg_memory_mb": 0.0,
"n_gpu_peak_memory_mb": 0.0,
"n_gpu_percent": 0,
"n_growth_mb": 0.0,
"n_malloc_mb": 0.0,
"n_mallocs": 0,
"n_peak_mb": 0.0,
"n_python_fraction": 0,
"n_sys_percent": 0.0,
"n_usage_fraction": 0.0,
"start_outermost_loop": 1,
"start_region_line": 1
},
...
],
"percent_cpu_time": 100.0
}
},
"gpu": false,
"growth_rate": 0.08109565504538821,
"max_footprint_fname": "hogehoge/test.py",
"max_footprint_lineno": 3,
"max_footprint_mb": 3843.3808002471924,
"memory": true,
"program": "hogehoge/test.py",
"samples": [...],
"stacks": []
}
おわりに
以上Scaleneの紹介でした。
本記事が少しでも皆さんの目に留まれば、みんなが（知っているのかどうかを筆者が）知らないことはなくなりそうです。