性能テストの概念的な話

Last updated at 2016-11-21Posted at 2016-11-08

はじめに

一般的なWebシステムを念頭に、性能テスト（performance testing）の概念的なところについて少しまとめてみました。

個別のツールや、チューニングについての記事は多いですが、大枠のフレームについての記事があまりなかったので、書いてみましたが、誤りなど指摘いただけますと幸いです。

最初性能テストの話をまとめようと思っていたのですが、考えてみたら、要件があり、設計があり、テストがありと、一連の流れが必要なのでした。

まずはテストプロセスの定義から。定義についてはこちら¹を参照しています。

（テストに関する用語はなんでもそうですが、定義している団体や個人によって、意味合いが異なっています。なので、ここに書いたことはそれを念頭に置いて頂ければと思います。人によって、高負荷テスト、高負荷試験etc...なんでもありですしね）

性能テスト（performance testing)
ソフトウェア製品の性能を判定するためのテストプロセス。
ストレステスト（stress testing）
予測又は特定した負荷、若しくはメモリやサーバなどのリソースの可用性が低減したときの限界、又は、それを超えた条件でシステムやコンポーネントを評価するために行なわれる性能テストの一種。[After IEEE 610] performance testing, load testing も参照のこと。
ロードテスト（load testing）
コンポーネントやシステムの振る舞いを測定する性能テストの一種。負荷（たとえば、同時実行ユーザ数やトランザクションの数）を増加させ、コンポーネントやシステムがどの程度の負荷に耐えられるか判定する。performance testing, stress testing も参照のこと。
いわゆる狭義の負荷テスト、負荷試験

また、世の中には、ほかにも性能テストの仲間がいろいろいます。²³⁴
（Advanced Software Testingシリーズあたりを読むとちゃんともっと網羅的なんだろうがとりあず...）

などなど。
とりあえず今回は、主に、ストレステストと、ロードテストに絞って話をすすめます。
（ロードテストと、耐久テストなんかは混同してよく使われたりしますね）

³一般的には、システムが、特定のワークロードの元で、応答性（responsiveness）、安定性（stability）の面で、どの程度動作するかを測定するのが目的です。

さらに、拡張性（scalability）や、信頼性（reliability）や、リソース使用量（resource usage）などの他の品質特性を調査するために役立てることができます。

性能テストを行う前に性能要件が必要です。
おそらくプロジェクトによって、要件とされるものは異なると思いますが、以下にWebシステムでの、代表的な要素をあげます。⁶⁷

性能要件としては上記の要素を使いつつ、なるべく具体的に書きます。⁸

例えば、「ピーク帯の同時接続数がooのとき、平均レスポンスタイムがxxであること」など。

性能要件を達成するための、性能設計では、サイジングや、流入設計などを行います。⁹詳細は参考資料を参照してください。

今回はテストに焦点を当てているので省略します。

性能要件、性能設計を元に、性能テストを行います。
性能テストはテストプロセスと、テストの観点から構成されます。

単に性能テストといった場合は、ざっくりとしたワークロード（例えばWebシステムであれば平常時のリクエストの状態）をかけて、システムの負荷特性（どこがボトルネックであるか、などの洗い出し）を行う場合が多いようです。

ロードテストのテスト観点としては、想定される上限に限りなく近いワークロード（例えばWebシステムであれば、ピーク帯のアクセスの状態）時に、性能要件で定義した性能を達成できているかを確認します。

想定の上限値、もしくは、想定以上の負荷をかけた場合の挙動を把握するために行われることが多いようです。

つらつらと書いてきましたが、テストプロセス（ロードテストやストレステストや耐久テスト）などは、それぞれオーバーラップしている部分がありますし、論者によって概念も違ったりします。

性能テストを実際のプロジェクトで行う場合は、テストプロセスは参考にしつつも、性能要件（目標）を明確にして、それを達成することができるシステムなのか、を主眼に置いて実施するのが良いように思います。