初めに：

Karate-GatlingによるE2E/負荷テストをお手軽に実行する。

KarateはE2Eテストフレームワーク、Gatlingは負荷テストフレームワークであり、
両者を組み合わせたものがKarate-Gatlingである。
本来KarateはMaven/Gradleのサポートとなっているが、
今回は、Karate-Gatlingをsbtでも使用可能にする。

【Karateについて】

【Gatlingについて】

通常のKarate(maven)と比較した場合のメリット

Mavenでは全部設定しなければならない依存関係が自動計算されるため、シンプルになる
Gatlingのためにscala用依存関係を別途追加していたが、それらは不要になる

単体のGatlingと比較した場合のメリット

Karateによるfeatureファイルが使えることにより、Scalaに詳しくなくてもGatlingが使える
アサーションの条件が非常にわかりやすい構造になる
単なるE2Eテストならばfeatureファイルだけでテストすることもできる(IDEA上で実行可能)

テスト作成

ディレクトリ配置は、下記の通りに行う

テスト作成：ビルド定義

プロジェクト定義は、InteliJ IDEAのsbtテンプレートを使用する。
sbtで動作を可能としたいため、gatling-mavenに変えてgatling-sbtプラグインを使用する

plugins.sbt

addSbtPlugin("io.gatling" % "gatling-sbt" % "3.2.1")

build.sbt

name := "karate-gatling-sbt"

version := "0.1"

scalaVersion := "2.12.13"
val gatlingVersion = "3.0.2"
val karateVersion = "0.9.6"

//sbt-gatlingがmaven centralに存在しないので、bintrayRepoを追加する
resolvers += Resolver.bintrayRepo("gatling", "sbt-plugins")
enablePlugins(GatlingPlugin)

scalacOptions := Seq(
  "-encoding", "UTF-8", "-target:jvm-1.8", "-deprecation",
  "-feature", "-unchecked", "-language:implicitConversions", "-language:postfixOps")

libraryDependencies ++= Seq(
//  無くても依存関係が計算されて動作する
//  "io.gatling.highcharts" % "gatling-charts-highcharts" % gatlingVersion % "test",
  "io.gatling"            % "gatling-test-framework"    % gatlingVersion % "test",
  "com.intuit.karate"     % "karate-gatling"            % karateVersion  % "test",
  "com.intuit.karate"     % "karate-apache"             % karateVersion  % "test"
)

テスト作成：テストアサーション定義

karate-config.js

function() {
  var config = {
      urlBase: 'http://localhost:9080/',
  };
  karate.configure('connectTimeout', 5000);
  karate.configure('readTimeout', 5000);
  return config;
}

PC性能の問題で負荷がかかり切らないので、今回はいくつかのパターンを停止しておく。

karatesample.feature

Feature: Karate sample

  Background:
    * url urlBase

  Scenario Outline: get
    Given path 'projects'
    And header <name> = <values>
    And form field clientId = <clientId>
    When method <method>
    * print <exps>
    Then status <status>
    And match $ == '#[1]'
    And match <expression>
    Examples:
      | clientId | name   | values             | method | exps     | status | expression                                 |
      | '1'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００１"} |
      | '2'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００２"} |
      #| '3'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００３"} |
      #| '4'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００４"} |
      #| '5'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００５"} |
      #| '6'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００６"} |
      #| '7'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００７"} |
      #| '8'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００８"} |
      #| '9'      | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト００９"} |
      #| '10'     | Accept | 'application/json' | get    | response | 200    | $[0] contains {"projectName": "プロジェクト０１０"} |

テスト作成：負荷テスト設定定義

scalaファイルで記載すべきなのは負荷に関する定義のみ。

TPSはfeatureのパターン×レートの数となるので注意
今回は2シナリオ×5=10TPSを目標とする。

KarateSimulation.scala

import com.intuit.karate.gatling.KarateProtocol
import com.intuit.karate.gatling.PreDef._
import com.intuit.karate.http.HttpRequestBuilder
import io.gatling.core.Predef._
import io.gatling.core.structure.ScenarioBuilder

import scala.concurrent.duration._

class KarateSimulation extends Simulation {

  // 開始時のレート
  val startRate: Double = 0
  // 最大負荷のレート(TPSはfeatureのパターン×ユーザの数となるので注意)
  val maxRate: Double = 5
  // 負荷を段階的に高める時間
  val rampUpTime: FiniteDuration = 30.seconds
  // 最大負荷のテスト時間(TPSはfeatureのパターン×ユーザの数となるので注意)
  val stableTime: FiniteDuration = 90.seconds

  val protocol: KarateProtocol = karateProtocol()
  protocol.nameResolver = (req: HttpRequestBuilder, _) => req.getUrlAndPath

  val search: ScenarioBuilder =
    scenario("get").exec(karateFeature("classpath:nablarch.feature"))
  setUp(
    search
      .inject(
        rampUsersPerSec(startRate) to maxRate during rampUpTime,
        constantUsersPerSec(maxRate) during stableTime
      )
      .protocols(protocol)
  )
}

テスト実行：事前準備

テストさせる対象は、下記とする。
https://github.com/nablarch/nablarch-example-rest
先に、mvn waitt:run-headlessを実行しておくこと。

テスト実行

コマンドラインで下記のコマンドを実行する。
IDEA(sbt shell)で実行する場合、sbt は除いて入力する

sbt test:compile
sbt gatling:test

テスト結果

およそ30+90=120秒間、10TPSの負荷がかかった。エラーはなかった。
※request count.*OK=.KO=.　で結果検索できる

================================================================================
---- Global Information --------------------------------------------------------
> request count                                       1050 (OK=1050   KO=0     )
> min response time                                     18 (OK=18     KO=-     )
> max response time                                   2433 (OK=2433   KO=-     )
> mean response time                                   151 (OK=151    KO=-     )
> std deviation                                        297 (OK=297    KO=-     )
> response time 50th percentile                         40 (OK=40     KO=-     )
> response time 75th percentile                         77 (OK=77     KO=-     )
> response time 95th percentile                        703 (OK=703    KO=-     )
> response time 99th percentile                       1649 (OK=1649   KO=-     )
> mean requests/sec                                  8.824 (OK=8.824  KO=-     )
---- Response Time Distribution ------------------------------------------------
> t < 800 ms                                          1011 ( 96%)
> 800 ms < t < 1200 ms                                  20 (  2%)
> t > 1200 ms                                           19 (  2%)
> failed                                                 0 (  0%)
================================================================================

Reports generated in 1s.
Please open the following file: C:\Users\aruki\Desktop\dev\karate-gatling-sbt\target\gatling\karatesimulation-20210228145214326\index.html
[info] Simulation KarateSimulation successful.
[info] Simulation(s) execution ended.
[success] Total time: 126 s (02:06), completed 2021/02/28 23:54:17
[IJ]