とても多くのお客様がVantageとMicrosoft Azure First Party Servicesとの統合に関心を持っています。そのようなトピックからここではAzure BLOBとVantageの接続について説明します。
このガイドで説明するアプローチはVantageとAzure BLOBストレージとを統合するための多くの可能性のあるアプローチの一つであり、そのままの形で提供されるものです。 このアプローチは社内で実装されテストされていますが、TeradataまたはAzureのいずれからも、このアプローチに関する正式なサポートはありませんのでご注意ください。
免責事項:本ガイドは、AzureとTeradata製品の両方のドキュメントからの内容を含んでいます。
概要
Teradata Access Module for AzureはTeradata Parallel Transporterのロード/アンロード・オペレーターとAzure Blob Storageの間のインターフェースとして動作する共有ライブラリです。
Teradata Access Module for AzureはAzure Blob Storageからのデータのエクスポート/インポートに使用することができます。
Teradata Access Module for AzureはAzure Blob StorageからデータをエクスポートしてTeradata Vantageにロードするシナリオにおいてチェックポイントおよび再起動/リカバリ操作をサポートします。
このスタートガイドではTeradataVantageとAzure Blob Storage間の接続とデータコピーの方法を紹介します。Teradata Access Module for Azure on Windowsを使用して、以下を実行します。
- VantageからAzure Blob Storageにデータをコピーする
- Azure Blob StorageからVantageにデータをコピーする。
前提条件
- Azure サブスクリプションの無料アカウント(開始前)
- Azure Blob Storageのアカウントとコンテナ
-
Teradata Tools and Utilitesのダウンロード - Windows
・Teradata Parallel Transporter(BaseおよびStream)をインストールします。
・Azure用Teradata Access Moduleのインストール
Azureポータルにログインしストレージアカウントを開きAccess keysをクリックし「Storage Account Name」と「Key」をメモ帳にコピーします。
次にPropertiesをクリックし「Endpoint」を同じメモ帳ファイルにコピーします。これで、Teradata Access Module for Azureからストレージにアクセスできるようになります。
メモ帳ファイルを「credentials」というファイル名で保存し、Teradata Tools and Utilities Access Module Reference ドキュメントの章 Teradata Access Module for Azure のセクション 「The Credentials File」 に従って 資格情報 ファイル、azureaxsmod ディレクトリ、HOME 環境変数を作成してください。
WindowsプラットフォームではHOME環境変数を手動で作成してazureaxsmodディレクトリが存在する場所を指すようにする必要があります。
TeradataからAzure Blob Storageへのデータコピー
Teradata Access Module for Azureドキュメントの手順に従っ、C:﹑Program Files Teradata﹑Client﹑16.20Teradata Parallel Transporter﹑quickstartディレクトリのスクリプトを変更します。
注意事項 :
- 以下のジョブスクリプトはWindowsの場合、libasureaxsmod.dllを参照しています。Linuxの場合、スクリプト内でlibazureaxsmod.soを参照する必要があります。
- azureaxsmodディレクトリが資格情報ファイルを保存するホームディレクトリの下にないか、HOME変数が作成されていない場合、スクリプト内の-ConfigDir初期化文字列を使用して資格情報ファイルが保存されているディレクトリパスを指定する必要があります。
- Azure Blobストレージ上のファイル名を指定するには-Objectパラメータを使用します。
ジョブ変数ファイル - Teradata サーバー名、ユーザー名、パスワードの適切なパラメーターで「jobvars」ファイルを作成します。
注:CSVエクスポートの場合ジョブ変数ファイルに次のように設定・追加する必要があります。FileWriterFormat='Delimited'とFileWriterTextDelimiter=',' はカンマ区切りであることを表します。
Setup Job (optional) - エクスポートするテーブルやデータがない場合、サンプルディレクトリやドキュメントにあるスクリプトを使用して作成することができます。
エクスポートジョブ - 適切なパラメータ -Container, -Prefix (オプション), ファイル名, タブ名を設定したジョブスクリプトを作成します。
ジョブスクリプトを実行するには、Windowsのコマンドプロンプト(CMD)を開きCDからスクリプトの場所(C: \Program FilesTeradata╱Client╱16.20ⒸTeradata Parallel Transporter╱quickstart)に入れて実行します。
tbuild -f -v -j
AzureポータルにログインしBlobストレージアカウントを開きコンテナをクリックして読み込んだファイルを表示します。
Azure Blob StorageからTeradataにデータをコピーする。
Job var ファイル - Teradata サーバ名、ユーザ名、パスワードの適切なパラメータを含む「jobvars」ファイルを作成します。
注:CSVインポートの場合はジョブ変数ファイルに設定・追加する必要があります。FileReaderFormat='Delimiter' と FileReaderTextDelimiter =',' はカンマ区切りであることを表します。
Setup Job (オプション) - ターゲットテーブルが存在し前回のロードでエラーテーブルが作成されなかった場合は、テーブルを作成しエラーテーブルを削除するため処理を追加します。
インポートジョブ - 作成/修正するパラメータは<>括弧の中を適切に置き換える必要があります。Teradata Access Module for Azureの資格情報ファイルを作成し、$HOME/azureaxsmodに配置する必要があります。
ジョブスクリプトを実行するには、Windowsのコマンドプロンプト(CMD)を開き、CDからスクリプトの場所(C:﹑Program Files Teradata﹑Client﹑16.20ⒸTeradata Parallel Transporter﹑quickstart)を指定して、実行する必要があります:
tbuild -f -v -j
おわりに
Azure BLOBストレージへのインポートやエクスポートはいかがでしたでしょうか?
ぜひお試しください!