第4章　Denodo cacheの設定

Last updated at 2023-06-07Posted at 2023-06-07

参考URL

本記事は、データ仮想化製品Denodoについて紹介する連載記事になっております。
これまでの連載通りにDenodo Express環境設定がされていることを前提としていますので、未実施の場合は過去の記事を参照して構築をしてください。

データ仮想化技術やDenodoの概要については、第1章　データ仮想化とDenodo概要をご参照ください。
また、データ仮想化環境の構築については、第2章　データ仮想化環境の構築をご参照ください。

Denodoにはデータソースから取得したデータのローカルコピーを、JDBC データベースに保存できるキャッシュエンジンが組み込まれています。このキャッシュを利用することで、繰り返し実行するクエリがデータソースにアクセスすることによる影響を低減し、データ取得を高速化できます。

データ仮想化では、データのコピーは保持せずデータソースのデータを都度取得しメモリ上で処理を行います。このため取得するクエリをOptimizationしたり、キャッシュ機能を活用することで、転送量を減らし応答速度を上げる等様々な工夫がなされます。

実環境ではほぼ導入することになるであろう、キャッシュ機能設定から動作確認までを今回実施します。（初学者向けの簡単な内容ですので気楽にお読みください）

キャッシュの設定には2つの設定ポイントがあり、「サーバーのキャッシュ設定」と「ビューのキャッシュ設定」と呼んでいます。2つとも設定を行うことでキャッシュが利用できる状態となります。

主にサーバー全般に関わる設定を行います。キャッシュ自体の有効/無効やキャッシュモジュールの選択などが含まれ、管理者権限で設定します。

キャッシュは個別のビューごとに有効/無効設定を行います。また後続のキャッシュモードもこちらで設定します。
ビューへの変更権限があるユーザーで設定を行いますが、本記事(Express)ではデフォルトのadminユーザのみしか存在できないので、権限は気にしなくて構いません。

Default設定は3600秒ですが、ユーザーで任意の期間設定が可能。本記事では特段設定の変更を行わないので、3600秒で動作します。(有効期限経過後はキャッシュの再ロードが必要です)

キャッシュの設定ではキャッシュの有効期限を設定できますが、有効期限経過後はデータ自体が削除されるわけではなく非表示になるだけです。データ自体は残存し続けるため、将来的にクエリ応答性能に影響を与える可能性があります。

不要なキャッシュデータの削除を行うタスクをメンテナンスタスクと呼び、定期的に実行することでデータベースの肥大化を防止します。また、TTL切れキャッシュを発生させないためのサイクリックなキャッシュ取得ジョブの実行側面も含みます。

本記事では触れていませんが、本番環境での動作考慮事項もありますので、実利用に際しては参考URLもご参照ください。

今回はデフォルトキャッシュDBであるApache Derbyを使用しています。（Connectionタブに既に設定されています）
本番環境でキャッシュを利用する際はDerbyではなく、別のDBを利用することが推奨されています。

左ペインから前回作成したベースビュー「kisyo_data_sapporo」を左クリックし、メニューの「Execute」をクリック。
ビュー画面が表示されるので、「Execute」をクリックしてクエリを実行。
「Query Results」タブが開くので、「Execution Trace」をクリック。
左ペイン内ツリーの最下にある「kisyo_data_sapporo#0」をクリックすると、右ペイン内の最下の「Route」部がcsvファイルであることが確認できる。（キャッシュを設定していないため、元ファイルからデータ取得と分かる）

「Summary」をクリックしてExecution Panelを再度表示し、「Store results in cache」にチェックを入れてから、「Execute」をクリック。
「Query Results」タブが表示されるので、当該タブを一旦×で閉じる。閉じると「Execute」パネルに戻る（「Store results in cache」のチェックは自動で外れる）ので、そのまま「Execute」をクリック。
左ペイン内ツリーの最下が「JDBC Route」に変わり、「JDBC Route」クリック後、右ペイン内の最下のデータソース表示箇所がキャッシュ設定前とは異なり「DB URI」であることが確認できる。

Administration tool画面左ペイン内「kisyo_data_tokyo」を右クリック -> 「Execute」をクリック。
表示された画面左上方「Options」をクリック後、Cache設定タブ内の「Partioal: The cache will...」をチェックし、「save」をクリック。

画面下部にある「Execute」タブ内の「Conditions」を画像の通り("年月日" = '2022/1/4')設定してから「Execute」ボタンをクリック。
キャッシュはされていないので、csvからデータ取得となる。
「Execution」タブへ戻り、「Retrieve all rows」にチェックを入れてから「Execute」ボタンをクリック。
まだこの時点ではCSVからデータ取得と表示されているが、背後ではキャッシュに格納している。
再度「Execution」タブへ戻り、「Retrieve all rows」のチェックを外してから「Execute」ボタンをクリック。
「Execution Trace」タブを開くと、キャッシュからデータ取得されていることが確認できる。
この状況でフィルタを変更してみる。「Conditions」を画像の通り("年月日" = '2022/9/4')設定してから「Execute」ボタンをクリック。
キャッシュ設定は部分的（"年月日" = '2022/1/4'）なので、キャッシュにはヒットせず、ローカルファイルから結果を取得。