LoginSignup
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@leor89917(BNR-Nam)in株式会社BinaryTech | 既存システムにAIを、未来の標準に。

非機能テストのすべて [第3回]: JMeter・k6による性能テスト入門

Posted at

JMeter vs k6：性能テストツールの選び方と実践導入ガイド

1. はじめに：性能テスト、どのツールを選べばいいのか？

「そろそろ性能テストを始めないと…でも、ツールが多すぎてどれを選べばいいのかわからない」
「JMeterは聞いたことあるけど、設定が難しそう」
「k6って最近よく見るけど、JMeterと何が違うの？」

このような悩みを抱えたことはありませんか？ 私も最初は同じでした。実際、過去のプロジェクトではツール選定の失敗から、複雑でメンテナンス性の低いテストスクリプトに悩まされ、テスト自体が陳腐化してしまった苦い経験があります。

性能テストの成功は、プロジェクトの要件とチームの状況に合った適切なツールを選ぶことから始まります。本記事では、性能テストの二大ツールである JMeter と k6 を徹底比較し、それぞれの特徴と実践的な導入方法をコード付きで詳しく解説します。最後まで読めば、どちらのツールがご自身のプロジェクトに最適か、明確に判断できるようになるでしょう。

2. JMeter と k6 の概要比較

まずは、両者の基本情報と特徴を比較します。

Apache JMeter

  • 概要: オープンソースの純Java製性能テストツール。歴史が長く、非常に多くのユーザーと情報が存在する。
  • 特徴:
    • GUI操作: 視覚的にテスト計画を組み立てられるため、初心者でも取り組みやすい。
    • 多機能: HTTP、HTTPS、JDBC、JMS、FTPなど、非常に多くのプロトコルをサポート。
    • スレッドモデル: 仮想ユーザーをスレッドとして表現する。大規模な負荷をかけるにはある程度のマシンリソースが必要。
  • 推奨するユースケース: テストの頻度が低い、GUIでサクッとテストを組みたい、多様なプロトコルをテストする必要がある。

k6

  • 概要: Go言語で書かれた現代的なオープンソースの性能テストツール。開発者フレンドリーな設計が特徴。
  • 特徴:
    • コードベース: テストシナリオをJavaScript (ES6) で記述する。バージョン管理やコードレビューが容易。
    • CLIファースト: CI/CDへの組み込みが極めて簡単。
    • 効率的な実行エンジン: 1台のマシンで多数の仮想ユーザーを効率的に処理できる。
  • 推奨するユースケース: テストをCI/CDに組み込みたい、テストコードをバージョン管理したい、開発者中心のチームである。

選択のための簡単な判断基準

基準 JMeterを選ぶ場合 k6を選ぶ場合
学習コスト GUIから始めたい コードを書くことに抵抗がない
CI/CD それほど重要ではない 自動化が必須である
プロトコル FTP, JDBCなど多様なプロトコルが必要 HTTP/HTTPSが中心である
チーム QAエンジニアが主導する 開発者が主導する

3. 実践：同じテストをJMeterとk6で実装してみる

それでは、具体的に「APIにGETリクエストを送信し、ステータスコード200と応答時間を検証する」という同じシナリオを、両ツールで実装してみましょう。

3-1. JMeterでの実装方法

JMeterはGUIで要素を配置してテスト計画を構築します。

  1. テスト計画の作成:
    • スレッドグループを追加 → スレッド数（仮想ユーザー数）やランプアップ時間を設定。
  2. HTTPリクエストの設定:
    • スレッドグループ配下に「HTTP Request」サンプラーを追加。
    • Server Name, Path, Method (GET) を設定。
  3. 結果の確認とアサーションの追加:
    • 「View Results Tree」リスナーを追加して詳細な結果を確認。
    • 「Response Assertion」を追加して、ステータスコードが200であることをチェック。
    • 「Duration Assertion」を追加して、応答時間が500ms以内であることをチェック。

長所: GUIで直感的に操作できる。結果も視覚的に確認しやすい。
短所: この構成を他の人が見ても再現するには、JMeterの知識が必要。大規模なテスト計画は重くなりがち。

3-2. k6での実装方法

k6はJavaScriptでテストコードを書きます。

// api-load-test.js
import http from 'k6/http';
import { check, sleep } from 'k6';

// 1. オプション設定: 負荷モデルと閾値を定義
export const options = {
  stages: [
    { duration: '30s', target: 10 }, // 30秒かけて10ユーザーまで増加
    { duration: '1m', target: 10 },  // 1分間10ユーザーを維持
    { duration: '30s', target: 0 },  // 30秒かけて0ユーザーに減少
  ],
  thresholds: {
    http_req_duration: ['p(95)<500'], // 95%のリクエストは500ms以内
    http_req_failed: ['rate<0.01'],   // エラーレートは1%未満
  },
};

// 2. 初期化処理 (必要であれば)
// export function setup() { ... }

// 3. 仮想ユーザーが実行する関数 (VU code)
export default function () {
  const url = 'https://api.binary-shop.com/products';
  const params = {
    headers: { 'Content-Type': 'application/json' },
  };

  // HTTP GETリクエストを送信
  const res = http.get(url, params);

  // 結果のチェック (アサーション)
  check(res, {
    'is status 200': (r) => r.status === 200,
    'response time < 500ms': (r) => r.timings.duration < 500,
  });

  // 現実的なユーザー間隔をシミュレート
  sleep(1);
}

// 4. 終了処理 (必要であれば)
// export function teardown(data) { ... }

実行コマンド:

k6 run api-load-test.js

長所: コードなのでバージョン管理（Git）が容易。CIツールでの自動化が非常にシンプル。軽量で高速。
短所: JavaScriptの基本的な知識が必要。GUIでの結果分析は標準では弱い（外部ツール連推奨）。

4. 実践Tipsとよくある落とし穴

JMeter 編

  • Tip 1: リスナーは実行時に無効化する

    • 落とし穴: 「View Results Tree」などのリスナーは大量のメモリを消費し、負荷生成マシン自体がボトルネックになる。
    • 対策: テスト実行時はコマンドラインモード (jmeter -n -t testplan.jmx -l result.jtl) で実行し、リスナーは結果分析時のみ有効にする。

  • Tip 2: コマンドライン実行を前提に設計する

    • 落とし穴: GUIでしか操作できない複雑なテスト計画は、自動化の障壁になる。
    • 対策: 変数化（ユーザー定義変数やCSV Data Set Config）を活用し、パラメータを外から注入できるようにする。

k6 編

  • Tip 1: チェックと閾値を活用する

    • 落とし穴: 単にリクエストを送るだけで、合格/不合格の判断を自動化できていない。
    • 対策: check() で個々のリクエストを検証し、thresholds でテスト全体の合否を定義する。CIで実行した際、返回值で成功/失敗を判断できる。

  • Tip 2: 外部ツールと連携して可視化する

    • 落とし穴: デフォルトのコンソール出力だけでは結果の分析が難しい。
    • 対策: --out オプションで結果を出力し、Grafana (+Prometheus) や Amazon CloudWatch、Datadogなどと連携してダッシュボード化する。
    k6 run --out json=results.json --out prometheus=remote-write-url api-load-test.js

共通

  • テスト環境と本番環境の差異: テスト環境のリソース不足が原因で、本番の性能を正しく測れないことが多い。可能な限り本番環境に近いスペックを用意する。
  • ウォームアップを忘れない: JVMやDBのコネクションプールなどはウォームアップが必要。テスト開始直後に急激な負荷をかけないよう、ランプアップ時間を設定する。

5. 応用：CI/CDへの組み込み方

k6 の例 (GitHub Actions)

k6はCIへの組み込みが非常に簡単です。

# .github/workflows/k6-performance.yml
name: k6 Performance Test
on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  performance-test:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v3

      - name: Setup k6
        uses: grafana/setup-k6@v1
        with:
          k6-version: latest

      - name: Run k6 test
        run: k6 run src/tests/api-load-test.js
        env:
          K6_CLOUD_TOKEN: ${{ secrets.K6_CLOUD_TOKEN }} # オプション: クラウドに結果を送信

JMeter の例 (GitHub Actions)

JMeterでもCIは可能ですが、セットアップが若干複雑です。

# .github/workflows/jmeter-performance.yml
name: JMeter Performance Test
on:
  push:
    branches: [ main ]

jobs:
  performance-test:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v3

      - name: Setup Java
        uses: actions/setup-java@v3
        with:
          java-version: '11'
          distribution: 'temurin'

      - name: Setup JMeter
        run: |
          wget https://archive.apache.org/dist/jmeter/binaries/apache-jmeter-5.6.2.tgz
          tar -xzf apache-jmeter-5.6.2.tgz

      - name: Run JMeter test
        run: |
          ./apache-jmeter-5.6.2/bin/jmeter -n -t src/tests/api-test-plan.jmx -l results.jtl
          # 簡単な結果チェック (エラーがなければ成功とみなす)
          if grep -q "false" results.jtl; then
            echo "Performance test failed!"
            exit 1
          fi

6. 結論：ツールの違いを理解し、プロジェクトに最適な選択を

  • JMeter は、その豊富な機能と視覚的な操作性が最大の強みです。非エンジニアやQAチームが主体となって性能テストを行う環境、あるいはHTTP以外のプロトコルをテストする必要がある場合に真価を発揮します。
  • k6 は、コードベースとCI/CDとの親和性の高さが特徴です。開発者中心の文化で、テストの自動化と継続的な性能モニタリングを重視する現代的なDevOps環境において圧倒的な効力を発揮します。

最終的には、「どちらか一方」ではなく「使い分ける」という選択肢もあり得ます。例えば、QAチームがJMeterで包括的なテストシナリオを作成し、開発者がk6で核心的なAPIの性能をCIで毎日監視する、といったハイブリッドな運用も効果的です。

まずは、どちらかのツールで小さなAPIのテストから始めてみてください。ツールを使いこなし、信頼性の高い性能テストを継続的に実行できるようになれば、リリースに対する自信は飛躍的に高まるでしょう。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?