概要

MarLogic Content Pump(以下、mlcp)を使ったデータロードをWindowsノートPC上で実行した際に色々とパラメータを動かしてみたので、その結果を示します。結論から言うと、性能面ではmlcpスレッド数・DB索引設定・ディスク性能の3つが効きました。

実行環境

項目	詳細
OS	Windows10 Home
CPU	インテル® Core™ i7-4710MQ プロセッサー 4core/8スレッド
メモリ	16GB
Java	jdk1.8.0_241
MarkLogic	10.0.3
mlcp	10.0.3

前提条件

・MarkLogicやJavaのインストール済み
・mlcp実行ファイルがダウンロード済み
・MarkLogic内にフォレスト/データベース/XDBCサーバ(ポート8062番)が作成済み

試験対象パラメータ

データロードは速いに越したことはないのですが、mlcpコマンドやDBパラメータなどを色々と調整してみることにしました。

mlcpパラメータ

項目	説明
-thread_count	実行時のスレッド数設定。デフォルトは4。
-batch_size	1リクエスト当たりの更新実行数。デフォルトは100。最大200。
-transaction_size	1トランザクション当たりのリクエスト数。デフォルトは10。最大値は4000/actualBatchSizeに制限される。
-split_input	CSVなどをロードする際にファイルを分割して実行するオプション。
-max_split_size	ファイル分割時の1ファイル当たりの最大バイト数指定

DBパラメータ
「fast 〇〇 searches」系の３個はデフォルトはtrueなのですが、falseも試してみました。理由は日本語データのシステム開発をする上で、重要性が低いと思われるためです。

項目	説明
language	トークナイズ文法の規定。jaに変更。
fast phrase searches	2つの単語を組み合わせるといった句への検索のための索引
fast case sensitive searches	大文字小文字を区別する検索のための索引
fast diacritic sensitive searches	ラテン文字などにみられる発生区別符号を区別する検索のための索引

フォレスト配置
・HDD上で1または2個設定～2coreに対して1Forestという指標があるため。
・HDD/SSD

4)ウイルス対策ソフトの起動/停止

データの準備

適当なCSVファイルを作りました。サイズは286MBです。1行目に列名としてdata1～data50を配置し、データには"sample"と5桁の数字を文字列連結したものを50万行ならべました。このファイルをC:\work\load_csvに置きます。
データロード後にはCSV1行が1個のXML形式データとして格納されます。

data1,data2,...,data50
sample46911,sample78291,...,sample99999
...

mlcpの実行コマンド

コマンドプロンプトを開いて、mlcp実行ファイルを置いたディレクトリ(今回はC:\work\mlcp\bin)に移動します。その上でバッチファイルを実行します。以下は、スレッド数16、バッチサイズ200、トランザクションサイズ20、ファイル分割を20MBを上限に実施というオプションを設定したものです。
（見やすいように適当なところで改行しています。）

mlcp.bat import -host localhost -input_file_path C:\work\load_csv -host localhost ^ 
-port 8062 -username admin -password admin ^ 
-output_uri_replace "/C:/work/load_csv, '/load_csv'" ^
-input_file_type delimited_text -delimiter "," ^
-generate_uri true -thread_count 16 ^ 
-batch_size 200 -transaction_size 20 ^ 
-split_input true -max_split_size 20971520

実施結果

表にまとめます。全てのパターンを検証する訳にはいかなかったので、ある程度で見切りをつけています。

thread	batch	transaction size	max split size	ウイルス対策	フォレスト数	ディスク	索引削除	処理時間[秒]
4	100	10	-	有	1	HDD	設定	252
16	100	10	-	有	1	HDD	設定	209
16	100	10	-	無	1	HDD	設定	215
16	200	5	-	有	1	HDD	設定	213
16	200	10	-	有	1	HDD	設定	222
16	200	20	-	有	1	HDD	設定	213
16	200	20	20MB	有	1	HDD	設定	208
16	200	20	40MB	有	1	HDD	設定	233
16	200	20	-	有	1	HDD	case, diacriticを無効	211
16	200	20	-	有	1	HDD	phrase, case, diacriticを無効	172
16	200	20	-	有	2	HDD	phrase, case, diacriticを無効	156
16	200	20	-	有	1	SSD	phrase, case, diacriticを無効	105
16	200	20	-	有	2	SSD	phrase, case, diacriticを無効	103

分析

・DB索引のうち、phraseの無効化は効果があった(211→172秒)。
・thread_countを4→16とすることで、処理時間が252→209秒と改善した。ただし、16にしてもCPUが90%を超えることはなかった。ディスクIOネックと推測。他のmlcpパラメータやウイルス対策ソフト停止は効果が低い。
・フォレストをSSDに置くとCPU使用率が100%近くとなって、ほぼほぼリソースを使い切ったと推測。
・フォレストの追加はHDDだと若干の効果があったが、SSDだとCPUネックのためか効果は見られない。

mlcpのチューニングを行う心構え

改めてmlcpを使う上での心構えを整理します。
・DBパラメータで設定できる索引は、業務要件を鑑みて必要最小限とする。デフォルトのものでも不必要であれば削除するべきである。
・mlcpパラメータで最も重要なのはthread_countである。少なくともCPU数と同数から開始する。スレッド数を大きくすると負荷も上がることから、他の処理は行わないこと。
・今回のようにmlcp実行とMarkLogicを同一端末にするのは実際のシステム開発ではMarkLogicの負荷の大きさやリソース分析の観点からNGと思われる。
・(当然ながら)ディスクはHDDよりSSDがよい。また(今回は未検証だが)各フォレストごとに別々のディスクとする。
・CPUネックとなった場合は、別のEノードを追加するスケールアウトを行う。