本記事はこちらのブログを参考にしています。
翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。
デモ: PolarDBとAnalyticDBを使用したリアルタイム分析向けデータウェアハウスの構築
このデモでは、Alibaba CloudのPolarDB、Data Transmission Service (DTS)、およびAnalyticDBを使用して、インテリジェントなホットおよびコールドデータの階層化を特徴とする高性能でコスト効率の高いデータウェアハウスソリューションを作成する方法を紹介します。以下が学習内容です：
- PolarDB for MySQLからAnalyticDB for MySQLへのリアルタイムでのデータ同期方法。
- AnalyticDB for MySQLにおけるホットおよびコールドデータの階層化機能を利用してストレージコストを削減する方法。
では、まずデモンストレーション環境の簡単な概要から始めましょう。
デモビデオリンク
インドネシア（ジャカルタ）リージョンで実行されているPolarDB for MySQL 5.7インスタンスがあります。これを現在の本番環境と考えてください。これはApsaraDB RDS for MySQLでも構いません。
それでは、このデモのために準備されたテストデータを確認するためにPolarDBにログインしましょう。
ここで、db_1という1つのデータベースと、sales_range_columnsという名前のテーブルがあります。
SHOW CREATE TABLEコマンドでテーブルスキーマを確認しましょう。ご覧の通り、これはパーティション分割されたテーブルで、主キーを持っています。パーティションキーはcreate_dateであり、現在12個のパーティションがあります。
レコード数を確認しましょう。このテーブルには100万件のレコードが含まれています。
次に、既存のすべてのデータと新しいデータをAnalyticDB for MySQLに同期します。PolarDBコンソールに戻り、リアルタイムデータ同期に必要なバイナリログを有効にします。バイナリログを有効にするとインスタンスが再起動されることに注意してください。再起動には約40秒かかりますので、特に本番環境では安全な時期に行うようにしてください。
インスタンスが再び稼働したら、AnalyticDB for MySQLコンソールに移動します。PolarDBと同じリージョンに空のAnalyticDB for MySQLインスタンスを設定しました。
データベースアカウントとして、作成、選択、削除、変更、更新の権限を持つuser_1を作成しました。このアカウントはリアルタイムデータ同期に使用されます。
次に、DTSコンソールに移動して、PolarDBからAnalyticDBへのデータ同期タスクを設定します。「タスクの作成」をクリックし、ソースとしてPolarDB for MySQLを選択し、ターゲットとしてAnalyticDB for MySQLを選択します。両方のインスタンスのリージョンを選択し、インスタンスIDとログイン資格情報を入力します。接続性をテストします。
同期対象のオブジェクトを設定します。スキーマ同期、フルデータ同期、増分データ同期のすべての同期タイプが選択されていることを確認してください。DDLおよびDMLの同期設定は必要がない限りデフォルトのままにしておきます。
同期するデータベースとテーブルオブジェクトを選択して進みます。
DTSはデータの一貫性を確保するためのさまざまなデータ検証モードを提供しており、その一部は無料です。これらは設定中またはその後にニーズに基づいて有効にできます。
次に、テーブルスキーママッピングを設定します。パーティションキーおよびメソッドなどの設定を確認し、ソーステーブルとの一貫性を保つために次のステップに進む前に確認します。
テーブルスキーママッピングを設定した後、タスクを保存し、事前チェックを開始します。
現時点ではすべて順調です。次に、継続的なデータ同期を維持するためにDTSインスタンスを購入します。デフォルトでは「DTS Serverless」が表示されますが、必要に応じて従量課金制やサブスクリプションなどの他の課金方法も選択できます。
注文を完了すると、DTSタスクが自動的に開始されます。データ同期が進行するにつれて、DTSタスクは
28
次に、PolarDBのソーステーブルに列を追加し、自動的に同期されるかどうかを確認しましょう。PolarDB SQLコンソールでテーブルに列を追加するDDL操作を実行します。テーブルスキーマを確認して、変更が適用されたことを確認してください。
AnalyticDB SQLコンソールに切り替えて、テーブルスキーマを確認します。新しい列が存在することを確認でき、同期が成功したことが分かります。
これまでのところ、OLTPデータベースであるPolarDBからOLAPデータベースであるAnalyticDBへのリアルタイムデータ同期を確立し、増分データ同期テストを完了しました。次に、AnalyticDBでホット/コールドデータの階層化を開始しましょう。これは迅速かつ簡単です。AnalyticDB SQLコンソールにログインします。テーブルのストレージポリシーを調整して、階層化ストレージを実装し、ホットパーティションの数を定義します。ホットパーティション内のレコードはホットストレージに留まり、それ以外のレコードは自動的にOSSにアーカイブされます。
データアーカイブの進行状況をクエリします。進行状況が100％に達すると、タスクのステータスはINITからRUNNING、そしてFINISHに変わります。完了後、SHOW TABLE SCHEMAを使用してストレージポリシーの違いやホットパーティションの設定を確認できます。また、ホットストレージとコールドストレージのストレージサイズなどの詳細も確認できます。
データが増え続けると、ホットパーティションは自動的にコールドアーカイブに移動します。この自動階層化ストレージにより、効率が大幅に向上します。最後に気になる点として、階層化ストレージによってパフォーマンスが低下することはないでしょうか？遅くなることはないのでしょうか？デモを終える前に、ホットストレージとコールドストレージ（OSS）の両方から読み取る混合クエリの例を使ってこれを確認しましょう。
ご覧の通り、引き続き高速です。PolarDBとAnalyticDBを使用して効率的なリアルタイム分析ソリューションを作成するデモをご覧いただき、ありがとうございました。