はじめに

こんにちは、すぎもんです
今回は、当社の新たなサービス「HULFT Square」のファイル転送サービス（Transfer）を使って、HULFT Squareからのファイル配信をやってみます。

HULFT Squareとは？

HULFT Squareとは、データを「安全・安心・柔軟に」連携するプラットフォームサービス、いわゆるiPaaSです。「ファイル転送のHULFT」×「データ連携のDataSpider」×「フルマネージドサービス」。これらの側面から、オンプレやクラウドなど分散されたデータを一元化し、データ活用することを可能とするサービスです。

記事構成

今回の記事構成は、HULFT Squareで集配信してみた全４回シリーズ　になります。環境構成をまず①②で理解して、③④と進んで読んでいただくのがおすすめです。
　　　　　　　①HULFT Squareと外部通信する仕組みについて、AWS PrivateLinkなど含めて整理してみた
　　　　　　　②HULFT Squareでのファイル集配信におけるAWS環境構築をしてみた
　★本記事★　③HULFT Square配信　⇔　HULFT集信（EC2上）やってみた
　　　　　　　④HULFT Square集信　⇔　HULFT配信（EC2上）やってみた

今回やること

今回は、HULFT Squareのファイル転送サービスである「Transferサービス」を使います。HULFT Squareからファイル配信をして、AWS EC2インスタンス上のHULFTで集信してみます。

「集配信」といえど、HULFT SquareはHULFTとは違い、ファイル転送（Transfer）サービスを使ってのファイルを転送します。HULFTとは一味違う、クラウドサービスならではの概念や構成になっていますので、HULFTを知らない方はもちろん、知っている方はその違いを見付けながら、読んでいただけたらと思います。

今回実施する検証環境の相関図は、下記の通りです。

お客様VPC環境のプライベートサブネット上のインスタンスにあるHULFTとファイルのやりとりをします。HULFT Squareでの通信には、AWS PrivateLinkを利用します。

また、環境面での事前準備として、下記3点を確認してください。
①AWS上のお客様環境（VPC）にPrivateLink接続するためのAWS側の設定
　　・ターゲットグループ　　・ネットワークバランサー　・エンドポイントサービス
②HULFT Transferサービス使用のためのライセンスの取得
　　「Transfer Receiver&Sender」ライセンスが必要。
③HULFT Transferサービス使用のための権限付与
　　必要な権限が付与されているか確認。

HULFT Squareと接続するための環境設定の詳細は下記①②をご一読ください。
　　　　①HULFT Squareと外部通信する仕組みについて整理してみた
　　　　②HULFT Squareでのファイル集配信における環境構築をしてみた

設定作業の流れ

HULFT Squareのファイル転送サービス（Transfer）で、ファイル配信をするために必要な設定は下記の通りです。（※設定順番に気を付けてください。）

＜HULFT Squareの設定＞
　　①配信ファイル用のストレージ設定
　　②HULFT Transferサービス（アウトバウンド）の作成
　　④VPCエンドポイントの作成
　　⑥転送設定（詳細ホスト情報の登録）
　　⑦転送設定（配信管理情報の設定）
　　⑧HULFT Integrateプロジェクトの作成

＜お客様VPC環境の設定＞
　　③エンドポイントサービスの作成
　　⑤HULFT Squareのエンドポイントの認証

＜EC2上HULFTでの設定＞
　　⑨EC2HULFT（集信管理情報）の設定（HULFT設定）
　　⑩EC2HULFT（詳細ホスト）の設定

①～⑩の設定作業は、それぞれの環境別で必要な作業です。順を追って進めてください。最後に、HULFT Squareからファイル配信を実行し、実行結果の確認をしたら今回のやってみた、は完了とします。

設定値の相関関係

各設定内容の関連図は、下記の通りです。配信側ホスト（HULFT Square）と集信側ホスト（EC2上のHULFT）の転送設定の対応関係になります。詳細ホスト情報やファイルIDなどの一致などの相関関係には注意してください。

■HULFT Squareと通信先環境の各設定値の相関図

上図の通り、ファイル配信する上での値の一致などに注意が必要です。

■HULFT Square内の各設定値の相関図
【スクリプト】作成時に、自身が利用対象とする【配信管理情報】と、
【Transferサービス】を指定します。

また、指定した【配信管理情報】では、【転送ホスト情報】を指定します。
【転送ホスト情報】では、HULFT Squareの外部通信の出口となる【VPCエンドポイント】を指定し、AWS PrivateLinkによる外部通信のための設定をします。

HULFT Squareで作成したVPCエンドポイントには、配信先環境のVPCエンドポイントサービス名を設定し、PrivateLinkによる接続を確立しましょう。

以上の事前準備や作業手順などの確認後、早速HULFT Squareを触ってみましょう！

HULFT Squareにログインしてみる

いよいよ本題で、HULFT Squareの設定になります。まずはログインしてみます。

ログインするとこのような画面が表示されます。左側が各メニューです。
ここから設定箇所を選択して設定を進めていきます。
（注意）検証環境のため、HULFTSquare管理画面のUIが異なる可能性があります。

今回やっている検証は、HULFT Squareでのファイル配信です。
HULFT Squareにて、ホスト情報や配信管理情報の設定をやっていきましょう！

①配信ファイル用のストレージ設定（HULFT Square設定）

配信用のファイルを準備します。
HULFT Square管理画面の左側メニューから「サービス」-「ストレージ」を選択し、新しいディレクトリ「Transfer_TEST/Send」を作成します。ファイルをHULFT Squareのストレージ上に任意の配信ファイルSEND_FILE.txt をストレージにアップロードします。

HULFT SquareからEC2上のHULFTに配信するファイルが準備できました。

②HULFT Transferサービス（アウトバウンド）の作成（HULFT Square設定）

次に、HULFT Squareのファイル転送サービスであるTransferサービスを作成します。

HULFT Square管理画面の左側メニューから「サービス」-「HULFT Transfer」より、HULFT Transferサービスを作成します。
　　名前　　　　：　New_HULFT_Transfer_send
　　転送の方向　：　アウトバウンド
　　ホスト名　　：　HULFT01

Transferサービス内の「ホスト名」は、集信側HULFTの「詳細ホスト情報」の名前に設定する値と同じにします。

「サービス」-「HULFT Transfer」の中に作成した「New_HULFT_Transfer_send」が作成されていることを確認します。

これで、ファイル配信するためのサービスが作成できました。

③エンドポイントサービスの作成（AWS設定）

HULFT Squareと転送先となるAWS環境との接続には「AWS PrivateLink」を利用します。
そのため、HULFT Squareからの配信の場合には、転送先AWS環境でのVPCエンドポイントサービスの作成が必要です。対象のVPC環境にエンドポイントサービスを作成しましょう。

AWSマネジメントコンソール画面の [VPC] > [エンドポイントサービス] から、「エンドポイントサービスを作成」を押下します。

エンドポイントサービス名（HULFT SquareTESTEndPoint）の名前タグをつけて、ロードバランサーのタイプは「ネットワーク」とし、対象のロードバランサーを選択し、エンドポイントの「承諾が必要」にチェックをして、「作成」を押下します。

正常に作成されたことを確認します。

HULFT Squareからの接続を許可するために、作成したエンドポイントサービスを選択し、「プリンシパルを許可」タブより「プリンシパルを許可」をする必要があります。

「プリンシパルを許可」を押下し、「追加するプリンシパル」には、接続元となるHULFT SquareのAWSアカウントIDを設定します。

プリンシパルの追加の表記方法は、
「arn:aws:iam::HULFT SquareのAWSアカウントID:root」です。

以上で、エンドポイントサービスへの接続許可設定ができました。

HULFT SquareからEC2HULFT(AWS)環境のエンドポイントサービスに接続するために、「プリンシパル許可」は必須です。必ず接続元となるHULFT SquareのアカウントIDのプリンシパル許可設定をした後で、HULFT Square側のエンドポイント作成をしてください。

④VPCエンドポイントの作成（HULFT Square設定）

AWS PrivateLink接続をするために、転送先AWS環境にエンドポイントサービスを作成したので、次に、HULFT Square側のエンドポイントを作成します。

HULFT Square管理画面の左側メニューの「設定 > VPCエンドポイント > エンドポイント」より、エンドポイントを作成します。「VPCエンドポイントサービス名」には、「AWS上で作成したVPCエンドポイントサービス名」を指定します。

これで、HULFT Squareと通信先となるVPC環境をPrivateLinkでつなぐためのエンドポイントの作成が完了しました。

⑤HULFT Squareのエンドポイントの認証（AWS設定）

HULFT Square側でエンドポイントを作成するときに、転送先AWS環境の「エンドポイントサービス名」を設定しました。正しく設定されていると、転送先AWS環境のエンドポイントサービス内にHULFT Squareの接続情報が追加されます。確認してみましょう。

AWSマネジメントコンソールメニューの[VPC] > [エンドポイントサービス]　の下部にある「エンドポイント接続」タブに、接続情報が追加されていることが確認できます。

エンドポイント接続に情報が1つ追加されます。「所有者」という項目に記載されたIDが、HULFT Square側のAWSアカウントIDかどうか確認してください。

HULFT SquareのAWSアカウントIDであることを確認して、「アクション▲」-「エンドポイント接続リクエストの承諾」を押下します。

フィールドに「承諾」を入れて「承諾」を押下します。

「状態」が「Available」になることを確認して設定は完了です。

以上で、HULFT Squareの疎通対象となるAWS環境とのAWS PrivateLink接続のための設定が完了です。

⑥転送設定（詳細ホスト情報の登録）（HULFT Square設定）

EC2上のHULFTにファイル配信するための詳細ホスト情報（転送設定）をします。
HULFT Square管理画面の左側メニュー「リソース」-「転送ホスト」から、配信先となるオンプレHULFTのホスト情報を登録します。
　　　名前　　　　　　　　：　HOST_Transfer_001
　　　ワークスペース　　　：　任意
　　　転送の方向　　　　　：　アウトバウンド
　　　ホストの種類　　　　：　Windows NT系OS
　　　VPCエンドポイント　 :　　EndPointTEST
　　　文字コード　　　　　：　ShiftJIS
　　　V7互換　　　　　　　：　チェックなし

「次へ」を押下し、転送ホスト（アウトバウンド）が正しく作成されていることを確認します。

HULFT Square側の転送設定は完了です。

⑦転送設定（配信管理情報の設定）（HULFT Square設定）

HULFT Square管理画面の左側メニュー「DATA ENTRY」-「HULFT Transfer」-「配信」から配信管理情報を登録します。
　　　名前　　　　　　　　：　Send_conf
　　　ワークスペース　　　：　任意
　　　ファイルID　　　　　：　TEST_SEND
　　　転送タイプ　　　　　：　テキスト
　　　配信ファイル　　　　：　/Transfer_TEST/Send/SEND_FILE.txt
　　　集信ホスト名　　　　：　HOST_Transfer_SE001
　　　DEFLATE圧縮　　　　：　チェックなし
　　　コード変換　　　　　：　配信側
　　　転送間隔　　　　　　：　0
　　　シフトコードの選択　：　チェックあり
　　　暗号キー　　　　　　：　任意

ファイルIDは、「大文字英数字」である必要があります。

検証の通り、半角アンダーバーを使っても可でしたが、大文字英数字推奨な点、ご留意ください。

「次へ」を押下し、配信管理情報が正しく作成されていることを確認します。

⑧HULFT Integrateプロジェクトの作成（HULFT Square設定）

HULFT Squareでは、Transferサービス（集配信）を実行するためにプロジェクトやジョブの作成が必要です。Transferサービスと転送設定や実行ジョブなどの設定を紐づけます。また、プロジェクトの中で「スクリプトの作成」をしていきます。GUIはDataSpiderと似ていまして、必要なアイコンをドラッグ＆ドロップで配置して設定します。

まずは、「DATA INTEGRATION」-「HULFT Integrate」-「プロジェクト」から「プロジェクトを作成」します。
　　名前　　　　　　　：　TEST_Transfer_Send_01
　　スクリプトを作成　：　チェックあり

HULFT Integrateのプロジェクトを作成すると、デザイナー起動の画面が表示されます。

「デザイナーを起動」を押下すると、作成したプロジェクト名「TEST_Transfer_Send_01」というプロジェクトが、左端の「プロジェクトエクスプローラー」に表示されています。スクリプト名は、「Test_Send_01」に変更します。

次に、画面右側にある「ツールパレット」に「HULFT」-「要求発行」-「配信要求」のアイコンがあります。アイコンをデザイナ上にドラッグ＆ドロップして設定画面を開きます。

「必須設定」タブは、下記の通り設定しました。
　　　転送サービス　　：　New_HULFT_Transfer_send（※HULFT Transferサービス)
　　　配信設定　　　　：　Send_Conf　(※HULFT Squareの配信管理情報)
　　　同期転送　　　　：　同期
　　　待ち時間　　　　：　3600（秒）

実行スクリプト設定内で、どのHULFT Transferサービスを使うか、どの配信管理情報を使って配信するか、を指定します。

その他の設定はデフォルトのままで設定を完了します。
最後に、デザイナ上の「start」アイコン、「配信要求」アイコン（hulft_send）、「end」アイコンをそれぞれドラッグして線でつなぎいで、配信スクリプトの作成が完了です。

「DATA INTEGRATION」> 「HULFT Integrate」にプロジェクトが作成できました。

以上で、プロジェクトと配信要求のためのスクリプトの作成は完了です。

⑨EC2HULFT（集信管理情報）の設定（HULFT設定）

HULFT Squareからの配信ファイルを集信するために、EC2上のHULFTの集信管理情報の設定をします。メニューバー「システム管理」-「集信管理情報」を選択、もしくはスタートページの「集信管理情報」を選択します。
集信管理情報の一覧が表示されます。

「新規作成」を押下し、下記の通り設定します。
　　　ファイルID　　：　TEST_SEND
　　　ファイル名　　：　C:\HULFT Family\hulft8\data\rcv\rcvdata.txt
　　　登録モード　　：　置き換え
　　　異常時の処理　：　削除
　　　集信形態　　　：　単一集信
　　　世代管理　　　：　しない　
　　　EBCIDICセット：　自動　 ※以降も今回は設定しません。

集信管理情報の登録が完了しました。

⑩EC2HULFT（詳細ホスト）の設定（HULFT設定）

集信管理情報の登録と同様に、メニューバー「システム管理」-「詳細ホスト情報」を選択、もしくはスタートページの「詳細ホスト情報」を選択し、「新規作成」を押下して下記の通り設定します。
　　ホスト名　　　　　：　HULFT01
　　ホスト種　　　　　：　UNIX　（※HULFT SquareはUNIXです。）
　　転送コードセット　：　UTF-8

詳細ホスト情報のホスト名はHULFT Square Transferサービスのホスト名を指定

以上で、EC2HULFT側の詳細ホスト情報の登録も完了です。

ファイル配信の実行

HULFT Squareのプロジェクトから、HULFT Square Designerを開き、スクリプトを実行します。

エラーも表示されず、実行に成功しました。

実行結果の確認（HULFT Squareのイベント監視）

HULFT Square側の実行結果の確認をします。

①イベント監視 > アプリケーション
　⇒アプリケーション（Transferサービスなど）の実行結果の確認ができます。
　　ファイルの配信設定で指定した「ファイルID」単位での実行結果が見れます。
　　アウトバウンド（配信）の「TEST_SEND」が「✓（正常終了）」しています。

右端の「：」-「詳細」より実行結果の詳細が参照できます。
完了コード「0」で集信できています。もしここがエラーの場合は完了コードから、エラー内容の確認などに役立ててください。（参考：HULFT完了コード）

集信側HULFTの実行結果の確認をします。

②実ファイルの確認
　⇒HULFT Squareから配信して、EC2上のHULFTで集信した実ファイルを確認します。

EC2HULFT側の「C:\HULFT Family\hulft8\data\rcv」に、HULFT集信管理情報で指定した名前のファイル「rcvdata.txt」が作成されています。

③HULFTの集信履歴の確認
　⇒EC2上のHULFTで集信したHULFTの履歴を確認します。
　　「集信履歴」>「集信状況一覧」から確認すると、①実ファイル確認で確認した時間での正常終了が確認できます。

HULFTの実行履歴は、「検索」で日時やファイルID、ホスト名などを指定できます。複数実行の場合や、複数ホストへの履歴がある場合等でご活用ください。

以上の確認により、HULFT SquareからEC2上のHULFTにファイルが、正しく転送されていることが確認できました。

最後に

皆さん、いかがでしたでしょうか。
今回は、HULFT Squareから配信して、AWS EC2上のHULFTで集信してみました。

HULFT Square集信⇔EC2HULFT配信と比べての違いなども是非みてみてください！

AWS PrivateLinkを使った接続のためAWS側の環境構築等もあり、本記事以外の部分での考慮点もいくつかありましたが、集配信を実践してみると更に理解が深まるかと思います。
HULFTをご存じの方は、ファイルIDやホスト情報登録などの設定も普段慣れているものに近いですし、DataSpiderをご存じの方は、デザイナ画面のアイコンを使ったドラッグ＆ドロップの操作自体は同じです。もちろん、設定値やそれぞれの概念等の細かな違いはいくつかありますので、是非色々な操作を試してみていただけたらと思います！

今回の記事構成は、HULFT Squareで集配信してみた全４回シリーズ　になります。環境構成をまず①②で理解して、③④と進んで読んでいただくのがおすすめです。
　　　　　　　①HULFT Squareと外部通信する仕組みについて、AWS PrivateLinkなど含めて整理してみた
　　　　　　　②HULFT Squareでのファイル集配信におけるAWS環境構築をしてみた
　★本記事★　③HULFT Square配信　⇔　HULFT集信（EC2上）やってみた
　　　　　　　④HULFT Square集信　⇔　HULFT配信（EC2上）やってみた

長くなってしまいましたが、最後までお読みいただき、ありがとうございました！
それでは、また！