More than 5 years have passed since last update.

ビルドツールのベンチマーク試行

Last updated at 2018-02-23Posted at 2018-02-18

ビルドとは

コンパイル＋リンク（ライブラリの関連付け）を実行し、ファイルを生成すること
※ コンパイルとは ... コンピュータが実行するのに適した形式に変えて実行可能なファイルに変換すること

ビルドツール
- 依存関係を解決しながらコマンドを実行するツール
- 依存するファイルが更新されるとコマンドを再実行する
- 例；make, ninja, scons など
メタビルドツール
- ビルドに必要なファイルを生成するツール
- 環境に応じたmakefileを作成する
- 例：autotools, cmake

各ビルドツールのビルド時間、使い勝手の比較

4つの条件からソフトウェアのビルド時間を測定。

main関数は、用意されたサブディレクトリのグローバル関数を再帰的に呼び出す。
各サブディレクトリに定義されている関数はメッセージ出力するだけ。

サブディレクトリ数を10, 100, 1000 に変更して time コマンドでビルド時間を測定する。

結論、ninjaが圧倒的なビルド時間の速さを示した。

5回測定した平均、最小、最大ビルド時間を示す。単位は"秒"

ビルドツール/サブディレクトリ数: 10	cold_start	full rebuild	leaf rebuild	nothing to build
make	avg 0.39 min 0.38 max 0.40	avg 0.41 min 0.41 max 0.41	avg 0.08 min 0.07 max 0.08	avg 0.01 min 0.01 max 0.01
scons	avg 0.79 min 0.72 max 0.89	avg 0.73 min 0.60 max 0.81	avg 0.27 min 0.23 max 0.33	avg 0.23 min 0.18 max 0.27
ninja	avg 0.07 min 0.06 max 0.08	avg 0.00 min 0.00 max 0.00	avg 0.00 min 0.00 max 0.00	avg 0.00 min 0.00 max 0.00

ビルドツール/サブディレクトリ数: 100	cold_start	full rebuild	leaf rebuild	nothing to build
make	avg 3.25 min 3.23 max 3.26	avg 3.44 min 3.43 max 3.45	avg 0.16 min 0.16 max 0.16	avg 0.04 min 0.04 max 0.04
scons	avg 4.74 min 4.68 max 4.85	avg 4.94 min 4.91 max 4.99	avg 0.91 min 0.85 max 0.97	avg 0.91 min 0.85 max 0.97
ninja	avg 0.23 min 0.23 max 0.24	avg 0.12 min 0.02 max 0.26	avg 0.02 min 0.00 max 0.07	avg 0.00 min 0.00 max 0.00

ビルドツール/サブディレクトリ数: 1000	cold_start	full rebuild	leaf rebuild	nothing to build
make	avg 32.97 min 32.93 max 33.05	avg 35.75 min 35.49 max 36.15	avg 1.75 min 1.74 max 1.78	avg 0.34 min 0.28 max 0.39
scons	avg 53.32 min 53.20 max 53.55	avg 55.17 min 54.94 max 55.37	avg 10.50 min 10.45 max 10.58	avg 5.34 min 5.31 max 5.36
ninja	avg 2.72 min 2.57 max 2.86	avg 2.67 min 2.64 max 2.72	avg 1.27 min 1.20 max 1.35	avg 0.01 min 0.01 max 0.01

あくまで個人的な意見です。

無難どころは make という印象が調査結果。
ninjaは記述量が多くなるので、build.ninja作る部分はスクリプト化しないとメンテナンスが難しそう

bazelも気になる