ここではKatalon Studio Verion 7.1.1を使ってる前提で話しを進めます。
参考資料から翻訳したり、一部抜粋したり、わかりやすいように若干表現変えてして記載
APIテストとは何か？
APIテストはソフトウェアテストの中の統合テスト一部として、APIが期待通りに機能しているか確認する為に行います。
APIにはGUIがない為、APIテストはテスト対象のAPIへリクエストメッセージを送り、返ってきたレスポンスメッセージを検証する、というやり方で効率的に素早くアプリケーションのロジックをテストできます。
APIテストは自動テストとCI/CDプロセスにとって重要です。
なぜなら、短いリリースサイクルと頻繁な修正/変更にあまり影響されにくい為、
UI自動テストに比べて保守作業が少なく済むからです。
APIテストの種類を知る
Katalon StudioでAPIテストを実施する前に、APIテストにはどんなテストの種類があるのか把握する。
バリデーションテスト
バリデーションテストはAPIが要件通りに正しく、効率よく動作していることを検証するテストです。
機能テスト
機能テストはコードベース中の特定の機能テストののことも含んでいます。
これらの特徴は、APIが設計されたパラメーターの範囲内で適切に処理されているかを具体的なシナリオで確かめます。
End-to-end テスト
UIテスティングはユーザーインターフェースの為のAPIや、必要不可欠な部分のテストで定義されます。
一般的にテストはAPIテスト単体で行うのではなく、APIに結びつけられたインターフェースと結びつけて行う場合が多いです。
フロントエンドとバックエンド両方の健全性、使いやすさ、効率に関することをテスト結果から知ることができます。
負荷テスト
負荷テストは一般的に、特定のユニットが開発完了した時や、全体が開発完了した時、実用的なものとして機能するかを確認します。
負荷テストはいつくなのシナリオを実行し、通常の状態とピーク状態の両方でパーフォーマンスを確認します。
-
基準値：通常の使用で予想されるトラフィックでAPIをテストします。
-
最大トラフィック：全負荷期間中にソリューションがそれらの要求に適切に応答することを確認するAPIテスト。
-
過負荷テスト：最大能力をテストする。ピークトラフィックに10〜20％を追加してテストします。
ランタイム/エラー検出
このテストタイプはAPIを実際に実行し、APIのコードにエラーが発生しないかを確認します。
一般的にそれらは一つの側面にフォーカスします。
-
モニタリング： コンパイルされたコードを実行時に様々な実装エラー、ハンドラーの失敗、その他固有の問題がないかがテストされ、セキュリティの問題は含まれていないかの保証も手助けされます。
-
実行エラー：コードは有効なリクエストに対し、正しいレスポンスを表示し、また無効なリクエストに対し、失敗していることがわかるように示すことを確認する。
-
リソースリーク： 無効または、一般的な不正のリクエストをAPIへ送り、メモリ、リソース、データや操作が不安定になったりリークしないかをテストする
-
エラー検出：既知の障害シナリオを使用し、テストを行い、エラーが発生しないことを確認する
セキュリティテスティング
セキュリティテスト、侵入テストとファズテスト（後ほど解説）はセキュリティ監視プロセスの3つの要素になります。
APIの実装が外部の脅威から守られているか確認する為に使用します。
セキュリティテストには侵入テスト、ファイズテストに加えて、暗号化手法の検証、APIアクセス制限設計の確認なども含まれます。
侵入テスト
侵入テストはAPIに関する特定の情報のみ与えられたユーザーが、APIとそのコンポーネント全体を狙い、機能、リソース、プロセスに関して、外部から攻撃し、評価します。
ファズテスト
ファズテストは大量のランダムデータをシステムに入力し、強制クラッシュ、またはネガティブな状態の動作を試すテストです。
このテストは最悪のケースのシナリオに備える制限に関してのAPIテストとして役に立ちます。
Katalon StudioでAPIへリクエストを送る
-
File -> New -> Project を選択し、「New Project」ダイアログでTypeに「API/Web Service」を選択。任意の名前を付け、新規でProjectを作成する
-
APIリクエストをまず作成する為、Test ExplorerウィンドウのObject Repositoryを選択し、New -> Web Service Request を選択
-
任意の名前を付け、対象のAPIのタイプを選ぶ（RESTful or SOAP）。URLにエンドポイントを記載し、OKをクリック
-
新しいリクエストを作成後以下のような画面が表示されます
ここではサンプルとして こちらのAPIへリクエストを送る手順を参考に説明を進めたいと思います。このAPIの仕様については、リンク先のドキュメントを参考にしてください
cat-facts
5 パラメータを追加する場合は、Query Parameters の「Add」ボタンをクリックし、Nameにパラメーター名、Valueに値を入力するとURLへ自動的にパラメータと値が入力されます
6 Methodを選択し、「Test Request」ボタンをクリックすると、APIへリクエストが送られます
7 リクエストを送り、しばらく待つと、Responseのウィンドウで、返ってきた内容が確認できます
ちなみに、
ログイン情報とかを追加してリクエストを送りたい場合は「Authorization」のタブより設定できます
同様に、Headerに設定を持たせたい時は、「HTTP Header」タブで
Katalon StudioでAPIからのレスポンスをテストする
APIへリクエスト送り、レスポンスを受けるとこまではできましたが、
これだけでは「テスト」になっていません。
レスポンスの内容を確認し「●●であること」みたいなことを確認しないとテストとしては成立しないからです。
ではそれをどうやるか？の手順です。
APIへリクエスト送り、レスポンスを受けることまでができてる前提
例えば、「レスポンスが200のステータスコードで返ってきていること」をテストしたいとします。
その場合、
-
「Verification」のタブを選択
-
SNIPPETSの中の「Status code: Code is 200」をクリック
-
「レスポンスのステータスコードが200であること」を確認するスクリプトが追加されます
-
Test Request And Verify を選択し、APIへリクエストを送ります
-
ResponseウィンドウのVerification Logタブで結果を確認できます。今回は200のステータスコードが返ってきてるので、テストの結果が「PASSED」になっていることが確認できます。
ちなみにわざと200のステータスコードが返ってこないように、失敗させてみると、このようにちゃんとFAILEDになっています。
このようにステータスコードを確認するだけでなく、
レスポンスのbodyに特定の文字列が存在するか？、、、などクリック一つでテストスクリプトを追加できます。
詳細はオフィシャルのドキュメントを参照してください。
次回はこれらのテストを具体的にどのようにテストケースとして運用していくか・・・について書きたいと思います。
つづく・・・（たぶん）