はじめに
Qlik Cloud を業務で使い始めると、最初にぶつかる壁の 1 つが
「オンプレミスや閉じた環境のデータをどうやって安全にクラウドへ届けるのか？」
という問題ではないでしょうか。
そのための中核コンポーネントが Qlik Data Movement Gateway（DMG） です。
※ 以下、DMGとします。
DMG はオンプレミスと Qlik Cloud の間に立ち、データ接続の安全性・接続性・ネットワーク制御を司る “ゲートウェイサーバー”。
データをクラウドに直接さらさず、既存ネットワークの制約を維持しながらクラウド連携を可能にしてくれる、非常に重要な役割を担っています。
この記事では、公式ドキュメントを踏まえつつ、実際に構築までの手順を備忘録として残すとともに、ユースケース等自分で整理しつつ記事を書いていきます。
とはいえ、Qlik公式ドキュメントに書いてあることがすべてなので、以下に添付してあるドキュメントもお目通しの程、よろしくお願いいたします。
最終的に信頼できるのは、ベンダーから直々に提供されている確かなソースであると私は思うのです。
公式ドキュメント
※ ちなみになのですが、Qlikの公式ドキュメントを確認する際は、英語版を確認することをお勧めします。
というのも日本語版では、情報が古い、誤訳があるなどの問題が少なからずあるようなので、、
■ Qlik Data Gateway - Data Movement
https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm
■ Setting up Data Movement Gateway
https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/dm-gateway-setting-up.htm
■ Data Movement gateway system requirements
https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/dm-gateway-prerequisites.htm
※ DMGはLinux上にインストールして下さい。
※ Qlik Replicateが既にインストールされているマシンでは使用しないで下さい。
Data Movement Gateway紹介
概要
DMGを一言で表すなら、「閉じた環境のデータをQlik Cloudへ安全に接続するためのゲートウェイ」でしょうか。
厳密に暗号化され相互認証された送信接続を介して、エンタープライズ データ ソース および SaaS アプリケーションからサポートされているターゲットへのデータ移動を容易にします。
例えば、オンプレのデータをクラウドに持っていきたいという場合、オンプレミスにはQlik Cloudが直接アクセスできません。そこでDMGをかますことにより接続を確立し、データを安全にクラウドへ持っていくような橋渡しをしてくれるのです。
（インバウンド接続の穴をあけておらず、オンプレ側からアウトバウンド(443/TLS）だけで接続をすることができます。）
また、DMGはLinux上で動作するエージェントであり、特定の環境に依存することもありません。さらに、本番DBに部品をインストールする必要もなく（エージェントレス）、独立したLinuxサーバ上で管理ができるため、運用が楽であるという点も利点の１つです。
ユースケース
- オンプレミスや閉じたネットワーク内のDBに接続したいとき
- Private Subnet（閉じたVPC）内のクラウドベースDBに接続したいとき
シンプルなクラウドtoクラウドの場合はDMGは必要ありません。
(SaaS アプリケーション ソースとデータ ウェアハウス ターゲットの両方が Qlik Cloud から直接アクセスできるため）
構築手順
今回は、システム要件の記載に則り、RHEL系のRed HatにDMGをインストールしました。
サーバーはシステム要件に従って立てて下さい。（私はAzureでVMを立てました。）
-
Qlik Cloudにログインし、DMGのインストーラーを取得します。
a. 「データゲートウェイ」に移動し、「展開」を押下
b. Data Gateway – Data Movement を選んで同意ボタンにチェックし、インストーラーをダウンロード
-
ダウンロードした.rpmをサーバーに持っていきます。（Terratermの転送機能を使用しました。）
-
Terraterm上で以下のコマンドに沿ってインストールを進めていきます。
※ TENANT_URLは、Qlik Cloudの以下のURLから、"https://"を除いたものです
bash.sh# ===== 変数（あなたの値に置き換え） ===== TENANT_URL="your-tenant.ap.qlikcloud.com" RPM_PATH="/tmp/qlik-data-gateway-data-movement.rpm" # ===== インストール ===== sudo QLIK_CUSTOMER_AGREEMENT_ACCEPT=yes rpm -ivh "$RPM_PATH" # 作業ディレクトリへ（インストール後はここで操作） cd /opt/qlik/gateway/movement/bin # テナントURLのみ設定 ./agentctl qcs set_config --tenant_url "$TENANT_URL" -
登録キーを生成し、コピーします。
bash.sh# 登録キーを生成（このキーを管理画面に貼り付ける） ./agentctl qcs get_registration ##以下はコマンド入力対象外です #この際{-\n}まですべてコピーして下さい {"agentType":"data-movement",○○==\n-----END CERTIFICATE-----\n"} -
Qlik Cloudに移動して、設定を進めます。
a. 「データゲートウェイ」に移動し、「作成」を押下
b. 「キー」に、4で取得したものを貼り付け、「ゲートウェイタイプ」は「データ移動」を選択
c. 「作成」を押下 -
Terratermに戻り、エージェントを再起動させます。
bash.sh#念のために、一旦stopをかけておく sudo systemctl stop repagent #再始動 sudo systemctl start repagent sudo systemctl status repagent # Active: active (running) を確認 -
状態が「接続済み」になっていることを確認します。
参考資料
■ 公式ドキュメント一式
■ Qlik Cloudデータ統合：Data Gateway - Data Movementのセットアップ
https://www.slideshare.net/slideshow/qlik-clouddata-gateway-data-movement/254960401
おわりに
Qlik Data Movement Gateway（DMG）は、
閉じた環境と Qlik Cloud をつなぐための 必須コンポーネント です。
ネットワーク要件など少し複雑な部分もありますが、一度仕組みを理解すれば、既存環境を壊すことなくセキュアで柔軟なデータ連携基盤を構築できます。
この記事が、DMG の理解や構成検討の一助になれば幸いです。
それでは皆様、ごきげんよう。