はじめに

Igniteの性能測定用に、「Yardstick Apache Ignite(yardstick-ignite)」というベンチマークが提供されています。
このベンチマークはYardstick Frameworkの上に書かれてます。Yardstickはベンチマークを書くためのフレームワークで、クラスター化されたシステムやその他の分散システムのベンチマークを作成するのに利用されています。

Yardstickを使ったIgniteの性能を測定してみます。

以下を参考にしています。

環境

VirtualBox上に以下の3台のサーバを構築しました。
各サーバはCentOS7で、1core、メモリ3GBにしています。

igniteserver1：Igniteクラスタ用サーバ(192.168.10.71)
igniteserver2：Igniteクラスタ用サーバ(192.168.10.72)
igniteserver3：Yardstick用サーバ(192.168.10.73)

各環境にはIgniteをインストール済みです。YardstickはIgniteに同梱されているものを利用するため、環境構築はありません。

Apache Igniteのインストール方法は以下の記事を参考にしてください。

インメモリデータグリッド Apache Igniteを始めてみる（Java）

用意されているベンチマーク

Ignite用に標準で提供されているベンチマークは以下の24個があります。
今回は試しに2～5のベンチマークを実施してみます。

実行するのは、Atomicとトランザクションの2種類×put/put+getの2種類＝4種類となります。

GetBenchmark - benchmarks atomic distributed cache get operation.
PutBenchmark - benchmarks atomic distributed cache put operation.
PutGetBenchmark - benchmarks atomic distributed cache put and get operations together.
PutTxBenchmark - benchmarks transactional distributed cache put operation.
PutGetTxBenchmark - benchmarks transactional distributed cache put and get operations together.
SqlQueryBenchmark - benchmarks distributed SQL query over cached data.
SqlQueryJoinBenchmark - benchmarks distributed SQL query with a Join over cached data.
SqlQueryPutBenchmark - benchmarks distributed SQL query with simultaneous cache updates.
AffinityCallBenchmark - benchmarks affinity call operation.
ApplyBenchmark - benchmarks apply operation.
BroadcastBenchmark - benchmarks broadcast operations.
ExecuteBenchmark - benchmarks execute operations.
RunBenchmark - benchmarks running task operations.
PutGetOffHeapBenchmark - benchmarks atomic distributed cache put and get operations together off-heap.
PutGetOffHeapValuesBenchmark - benchmarks atomic distributed cache put value operations off-heap.
PutOffHeapBenchmark - benchmarks atomic distributed cache put operations off-heap.
PutOffHeapValuesBenchmark - benchmarks atomic distributed cache get value operations off-heap.
PutTxOffHeapBenchmark - benchmarks transactional distributed cache put operation off-heap.
PutTxOffHeapValuesBenchmark - benchmarks transactional distributed cache put value operation off-heap.
SqlQueryOffHeapBenchmark -benchmarks distributed SQL query over cached data off-heap.
SqlQueryJoinOffHeapBenchmark - benchmarks distributed SQL query with a Join over cached data off-heap.
SqlQueryPutOffHeapBenchmark - benchmarks distributed SQL query with simultaneous cache updates off-heap.
PutAllBenchmark - benchmarks atomic distributed cache batch put operation.
PutAllTxBenchmark - benchmarks transactional distributed cache batch put operation.

Yardstickの設定

Igniteを「/opt/apache-ignite」にインストールした場合、Yardstickは「/opt/apache-ignite/benchmarks」にあります。

IgniteクラスタはYardstickから自動起動されるため、起動しておく必要はありません。

リモートでIgniteクラスタへ接続してベンチマークを実行するため、「ignite-remote-config.xml」の設定を変更します。

cd /opt/apache-ignite/benchmarks/config
vi ignite-remote-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--
    Ignite Spring configuration file to startup grid.
-->
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.5.xsd">
    <import resource="ignite-base-config.xml"/>

    <bean id="grid.cfg" class="org.apache.ignite.configuration.IgniteConfiguration" parent="base-ignite.cfg">

        <property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="ipFinder">
                    <bean
                        class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
                        <property name="addresses">
                            <list>
                                <!-- In distributed environment, replace with actual hosts IP addresses. -->
                                <value>192.168.10.71:47500</value>
                                <value>192.168.10.72:47500</value>
                            </list>
                        </property>
                    </bean>
                </property>
            </bean>
        </property>
    </bean>
</beans>

次にベンチマークの設定を変更します。
「benchmark-remote-sample.properties」というサンプルファイルがあるので、これをコピーして設定ファイルを作成します。

cp -p benchmark-remote-sample.properties benchmark-remote-test.properties
vi benchmark-remote-test.properties

プロパティファイルのSERVER_HOSTS項目に、IgniteノードのIPアドレスを入れます。

SERVER_HOSTS=192.168.10.71,192.168.10.72

実行するベンチマークを追加します。
「benchmark.properties」を参考にして作成します。

# Run configuration.
# Note that each benchmark is set to run for 300 seconds (5 min) with warm-up set to 60 seconds (1 minute).
CONFIGS="\
-cfg ${SCRIPT_DIR}/../config/ignite-remote-config.xml -nn ${nodesNum} -b ${b} -w ${w} -d ${d} -t ${t} -sm ${sm} -dn IgnitePutBenchmark -sn IgniteNode -ds ${ver}atomic-put-${b}-backup,\
-cfg ${SCRIPT_DIR}/../config/ignite-remote-config.xml -nn ${nodesNum} -b ${b} -w ${w} -d ${d} -t ${t} -sm ${sm} -dn IgnitePutGetBenchmark -sn IgniteNode -ds ${ver}atomic-put-get-${b}-backup,\
-cfg ${SCRIPT_DIR}/../config/ignite-remote-config.xml -nn ${nodesNum} -b ${b} -w ${w} -d ${d} -t ${t} -sm ${sm} -dn IgnitePutTxBenchmark -sn IgniteNode -ds ${ver}tx-put-${b}-backup,\
-cfg ${SCRIPT_DIR}/../config/ignite-remote-config.xml -nn ${nodesNum} -b ${b} -w ${w} -d ${d} -t ${t} -sm ${sm} -dn IgniteGetAndPutTxBenchmark -sn IgniteNode -ds ${ver}tx-getAndPut-${b}-backup,\
"

Yardstickを実行するサーバ（Driverと呼ぶようです）から、各IgnoreノードへSSHでログインできるようにします。

# ssh-keygen -t rsa
(パスフレーズは入力しない)

# ssh-copy-id root@192.168.10.71
# ssh-copy-id root@192.168.10.72

# ssh root@192.168.10.71
# ssh root@192.168.10.72

「benchmark-run-all.sh」でベンチマークを開始します。

[root@igniteserver3 config]#  ../bin/benchmark-run-all.sh ./benchmark-remote-test.properties
<02:20:00><yardstick> Creating output directory
../bin/benchmark-run-all.sh: line 73: ifconfig: command not found
<02:20:00><yardstick> Copying yardstick to the host 192.168.10.71
Warning: Permanently added '192.168.10.71' (ECDSA) to the list of known hosts.

ベンチマークを実行すると、上のようにifconfigがないと怒られるので、net-toolsをインストールする。

# yum install -y net-tools

Ctrl-Cで強制終了した場合、Ignoreノードが起動したままになります。その状態でベンチマークを再実行すると残っていたIgnoreノードもクラスタに参加してしまうので、強制終了した場合は個別にIgnoreノードを停止する必要があります。

Visorで見てみると、サーバが3台起動しているようです。
1台がClientとなると思ったのですが、そうではないようです。

visor> top
Hosts: 3
+============================================================================================================================+
| Int./Ext. IPs |   Node ID8(@)    | Node Type |                  OS                   | CPUs |       MACs        | CPU Load |
+============================================================================================================================+
| 10.0.2.15     | 1: 0908F8F4(@n0) | Server    | Linux amd64 3.10.0-693.2.2.el7.x86_64 | 1    | 02:42:4A:05:5B:CD | 55.00 %  |
| 127.0.0.1     |                  |           |                                       |      | 08:00:27:76:F3:CF |          |
| 172.17.0.1    |                  |           |                                       |      | 08:00:27:E3:4A:44 |          |
| 192.168.10.71 |                  |           |                                       |      |                   |          |
+---------------+------------------+-----------+---------------------------------------+------+-------------------+----------+
| 10.0.2.15     | 1: 02A9366F(@n1) | Server    | Linux amd64 3.10.0-693.2.2.el7.x86_64 | 1    | 08:00:27:76:F3:CF | 51.33 %  |
| 127.0.0.1     |                  |           |                                       |      | 08:00:27:7F:64:16 |          |
| 192.168.10.72 |                  |           |                                       |      |                   |          |
+---------------+------------------+-----------+---------------------------------------+------+-------------------+----------+
| 10.0.2.15     | 1: 97EFB660(@n2) | Server    | Linux amd64 3.10.0-693.2.2.el7.x86_64 | 1    | 08:00:27:64:78:7A | 90.33 %  |
| 127.0.0.1     |                  |           |                                       |      | 08:00:27:76:F3:CF |          |
| 192.168.10.73 |                  |           |                                       |      |                   |          |
+----------------------------------------------------------------------------------------------------------------------------+

Summary:
+--------------------------------------+
| Active         | true                |
| Total hosts    | 3                   |
| Total nodes    | 3                   |
| Total CPUs     | 3                   |
| Avg. CPU load  | 65.56 %             |
| Avg. free heap | 83.00 %             |
| Avg. Up time   | 00:03:58            |
| Snapshot time  | 2018-08-25 02:48:02 |
+--------------------------------------+

「cache -a」で見てみると、以下のように3サーバともにキャッシュが格納されています。
ということは、DriverのサーバもIgnoreクラスタに入っており、性能測定の対象になっているようです。

Cache 'atomic(@c0)':
+-----------------------------------------------------------+
| Name(@)                     | atomic(@c0)                 |
| Nodes                       | 3                           |
| Total size Min/Avg/Max      | 305670 / 333334.33 / 350590 |
|   Heap size Min/Avg/Max     | 0 / 1.00 / 3                |
|   Off-heap size Min/Avg/Max | 305670 / 333333.33 / 350587 |
+-----------------------------------------------------------+

Nodes for: atomic(@c0)
+============================================================================================================+
|     Node ID8(@), IP      | CPUs | Heap Used | CPU Load |   Up Time    |         Size         | Hi/Mi/Rd/Wr |
+============================================================================================================+
| 02A9366F(@n1), 10.0.2.15 | 1    | 29.76 %   | 40.33 %  | 00:06:43.146 | Total: 305670        | Hi: 0       |
|                          |      |           |          |              |   Heap: 0            | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 305670   | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: 0 | Wr: 0       |
+--------------------------+------+-----------+----------+--------------+----------------------+-------------+
| 0908F8F4(@n0), 10.0.2.15 | 1    | 24.59 %   | 45.00 %  | 00:06:43.395 | Total: 343743        | Hi: 0       |
|                          |      |           |          |              |   Heap: 0            | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 343743   | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: 0 | Wr: 0       |
+--------------------------+------+-----------+----------+--------------+----------------------+-------------+
| 927AB38D(@n2), 10.0.2.15 | 1    | 20.24 %   | 88.00 %  | 00:00:34.269 | Total: 350590        | Hi: 0       |
|                          |      |           |          |              |   Heap: 3            | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 350587   | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: 0 | Wr: 0       |
+------------------------------------------------------------------------------------------------------------+

ベンチマークの実行が終わると自動で結果がグラフ出力されます。

<03:08:51><yardstick> Driver is stopped on localhost
<03:08:51><yardstick> Server is stopped on 192.168.10.71
<03:08:51><yardstick> Server is stopped on 192.168.10.72
<03:08:52><yardstick> Collecting results from the host 192.168.10.71
<03:08:53><yardstick> Collecting results from the host 192.168.10.72
<03:08:54><yardstick> Creating charts
Moving chart directory to the /opt/apache-ignite/benchmarks/output/results-20180825-024401 directory.

HTMLファイルで出力されており、開くの以下のように表示されます。

Putだと平均38,000オペレーション（青）ですが、トランザクションを有効にすると平均11,000程度（赤）まで落ち込んでいることが分かります。
最初からベンチマークが同梱されているため、簡単に性能測定することができました。
今回はデフォルトパラメータで実行しましたが、今後、色々変更して性能の変化を確認してみたいですね。

YCSB (Yahoo Cloud Serving Benchmark)

YCSB (Yahoo Cloud Serving Benchmark)もIgniteに対応しているようです。

YCSBを使用したベンチマークの結果が以下に掲載されていました。
Apache® Ignite™ and Apache® Cassandra™ Benchmarks: The Power of In-Memory Computing
https://www.gridgain.com/resources/blog/apacher-ignitetm-and-apacher-cassandratm-benchmarks-power-in-memory-computing